Как в учебнике
Недообучение — ситуация, в которой обученная модель недостаточно описывает полезную закономерность. Причиной может быть слишком ограниченный класс моделей или недостаточная настройка. Поэтому заметная ошибка уже на обучении требует проверить и выразительность модели, и процедуру обучения.
Простой предел выразительности: постоянные классификаторы $h_c(x)=c$, где $c\in\{0,1\}$. Если среди обучающих меток присутствуют оба класса, ни одна модель этого класса не ответит правильно на все объекты, независимо от числа повторений подбора постоянного $c$.
При недообучении ошибки на обучающих и представительных отложенных данных могут оставаться высокими. Но два похожих числа сами по себе не доказывают диагноз: возможны шумные метки, недостаточные признаки или задача, где простое правило уже оптимально. Сначала нужно понять, какую закономерность вообще можно восстановить.
Если ограничение действительно в классе моделей, дополнительная гибкость может помочь. Это не обещание, что более сложная модель всегда лучше: её тоже сравнивают по отложенным данным. Переобучение — другой случай; здесь рассматривается неспособность выразить полезное правило.
Повторение обучения в неизменном ограниченном классе не устраняет ошибки, которые этот класс принципиально не может выразить. В то же время неудачный подбор параметров нельзя без проверки объявлять недостатком класса: подходящее правило могло существовать, но процедура его не нашла. Диагностика поэтому разделяет два вопроса: способен ли выбранный класс описать закономерность и удалось ли обучение приблизиться к доступному в нём результату. Высокая ошибка служит поводом для этого разбора, а не готовым объяснением причины.
Связанные понятия: Переобучение.
На пальцах
Термометр с двумя делениями не измерит температуру до десятой доли градуса от одного сурового взгляда на шкалу. Подобным образом постоянная модель не способна передавать различия между объектами: на любой вход предусмотрен один ответ. Повторение обучения не добавляет ограниченному классу новых возможностей. Однако грубая шкала и неправильная калибровка — разные причины плохого результата. Аналогия отделяет выразительность от настройки, но сама не заменяет проверки признаков, меток и процедуры обучения.
Пример
В учебной задаче правильная метка равна 0 для $x<2$ и 1 для $x\ge2$. Обучающие координаты — 0, 1, 2, 3; отложенные — 0.5 и 2.5. Исходная модель ограничена постоянным ответом 0.
Недообучение
Постоянный ответ на обучении
Модель отвечает 0 везде и ошибается на координатах 2 и 3.
Шаг 1 из 3: Постоянный ответ на обучении
Все шаги текстом
Постоянный ответ на обучении
Модель отвечает 0 везде и ошибается на координатах 2 и 3.
- Координаты
- 0123
- Ответы
- 0 ✓включён0 ✓включён0 ✗исключён0 ✗исключён
Тот же предел на новых объектах
На 0.5 ответ верный, на 2.5 — неверный. Новые данные не исправляют неспособность менять метку.
- Координаты
- 0.52.5
- Ответы
- 0 ✓включён0 ✗исключён
Зависимость от входа
Условное правило с порогом 2 может представить заданную закономерность. На перечисленных точках ошибки исчезают.
- Обучение
- 0 ✓включён0 ✓включён1 ✓включён1 ✓включён
- Валидация
- 0 ✓включён1 ✓включён
Смена постоянного ответа с 0 на 1 не решит учебную задачу: теперь будут ошибочными первые две обучающие точки вместо последних двух. Значит, даже лучший постоянный выбор оставляет две ошибки из четырёх. Пороговое правило устраняет именно запрет на разные ответы по разные стороны границы. Нулевые ошибки на показанных точках иллюстрируют устранение этого ограничения в заданной модели, но не обещают нулевой ошибки на произвольных настоящих данных.
Источник исходного конспекта: материал лекции.