Как в учебнике
Переобучение возникает, когда модель подстраивается под случайные особенности или шум обучающей выборки, которые не воспроизводятся на новых данных. Качество на знакомых объектах улучшается без соответствующего улучшения качества на будущих.
Одна из характерных картин — малая обучающая ошибка и заметно большая ошибка на отложенных данных. Сравнение имеет смысл, когда отложенные наблюдения проверяют нужное будущее применение и не участвовали в настройке. Сам разрыв не доказывает причину: состав выборок тоже способен отличаться.
Гибкая граница может обойти каждую отдельную размеченную точку, включая случайный выброс, но хуже передавать общую закономерность. Выброс — нетипичное наблюдение, а не обязательно ошибка разметки: богатый заёмщик тоже может не вернуть долг. Нельзя удалять неудобный случай только потому, что он не нравится модели.
Обобщающая способность означает сохранение качества на новых объектах. Именно её проверяют на отложенных данных. Сложность модели выбирают по валидации; итоговый тест оставляют для уже принятого решения. Универсального порога разницы ошибок, который сам доказывает переобучение, здесь нет.
Связанные понятия: Разделение данных на обучение, валидацию и тест, Ошибка классификации.
Ошибки сравниваются для фиксированного правила предсказания на разных наборах наблюдений. Подстройка модели после просмотра отложенных ответов меняет смысл такого сравнения: эти ответы уже повлияли на решение. На малой выборке отдельная ошибка сильно меняет долю, поэтому различие оценок требует осторожной интерпретации. Отсутствие ошибок на нескольких новых объектах также не устанавливает качество на всех будущих случаях.
На пальцах
Заученные ответы к шести билетам могут безупречно воспроизводить даже опечатку преподавателя. Экзамен по тем же билетам проверит прежде всего память о них, а новый вопрос способен обнаружить отсутствие общего способа решения. Модель тоже может собрать коллекцию знакомых исключений, которая после смены примеров оказывается сувенирной. Один трудный новый вопрос ещё не доказывает переобучение: причина может быть в другой теме или отличиях данных. Аналогия показывает риск заучивания, а не ставит диагноз по одному неловкому ответу.
Пример
Учебное сравнение двух моделей использует одинаковые данные: шесть обучающих и четыре валидационных объекта. Числа выбраны, чтобы показать возможную картину переобучения; это не результат реального эксперимента.
Переобучение
Идеально на обучении
Гибкая модель правильно отвечает на все шесть знакомых объектов. Пока это говорит только об обучающей выборке.
Шаг 1 из 3: Идеально на обучении
Все шаги текстом
Идеально на обучении
Гибкая модель правильно отвечает на все шесть знакомых объектов. Пока это говорит только об обучающей выборке.
- Обучение
- A ✓включёнB ✓включёнC ✓включёнD ✓включёнE ✓включёнF ✓включён
Проверка на валидации
На четырёх новых объектах та же модель допускает три ошибки. Нулевая обучающая ошибка не перенеслась.
- Валидация
- G ✗исключёнH ✓включёнI ✗исключёнJ ✗исключён
Более ограниченная модель
У другой модели одна ошибка на обучении и одна на валидации. В этом примере выбор по валидации предпочитает её.
- Обучение
- 1 из 6исключён
- Валидация
- 1 из 4текущий
Гибкая модель безошибочна на шести знакомых объектах, но ошибается на трёх из четырёх валидационных. Более простая допускает ошибку при обучении, зато её валидационная доля $1/4$ меньше $3/4$. Для выбора по показанному критерию это аргумент в пользу простой модели. Нельзя, однако, объявить разницу доказательством будущих процентов качества: четыре наблюдения лишь иллюстрируют проверку на незнакомых данных, а не исчерпывают её.
Источник исходного конспекта: материал лекции.