Разделение данных на обучение, валидацию и тест

Как в учебнике

Размеченные данные разделяют по назначению. Обучающая выборка используется для настройки параметров модели. Валидационная — для сравнения обученных вариантов и выбора настроек алгоритма. Тестовая — для итоговой оценки уже выбранного варианта.

В этом протоколе тестовые ответы не используются ни для обучения, ни для выбора модели. Если результат теста многократно влияет на следующие варианты, эта выборка уже участвует в подборе и не выполняет роль независимой последней проверки.

Разделение должно соответствовать будущему применению: связанные наблюдения нельзя считать независимыми только потому, что они попали в разные файлы. Для данных со временем или повторными объектами способ разбиения выбирают с учётом этих связей. Само наличие трёх файлов не гарантирует честной оценки.

Пропорция 80% для обучения и 20% для валидации из исходной лекции — пример, а не закон. В соревнованиях публичный результат фактически может использоваться для выбора, тогда закрытая часть сохраняет роль итоговой оценки. Внешний оценщик вправе скрыть тестовые метки.

Роль выборки определяется всем процессом принятия решений, включая подготовку признаков и выбор настроек по результатам сравнения. В протоколе с отложенными данными параметры преобразований, оцениваемые по наблюдениям, подбираются на обучающей части, затем применяются к остальным. Иначе отложенные наблюдения уже повлияли на построенную процедуру. До итогового теста нужно зафиксировать не только конкретную модель, но и весь способ получения предсказания из исходного объекта.

Связанные понятия: Ошибка классификации.