Выбор гиперпараметров

Как в учебнике

Гиперпараметр задаёт вариант алгоритма обучения или модели и не вычисляется тем же способом, что её обучаемые параметры. Например, веса линейной модели настраиваются по обучающим данным, а число соседей в методе ближайших соседей выбирают как настройку алгоритма.

Для конечного набора кандидатов $K$ процедура такова: каждому $k\in K$ соответствует модель $h_k$, построенная только по обучающей выборке. На одной и той же валидационной выборке сравнивают ошибки и выбирают кандидата с наименьшей. При равных результатах правило выбора фиксируют заранее.

После выбора итоговый тест используется для оценки выбранного варианта, а не для очередного перебора. Многократная подстройка под публичную оценку соревнования тоже делает её сигналом выбора. Скрытая часть теста нужна именно потому, что публичный результат перестаёт быть последней независимой проверкой.

В исходной лекции сравниваются $k=1$ и $k=15$; на показанной кривой тестовой ошибки минимум оказался при $k=7$. Это описание того примера, а не универсальное значение и не совет выбирать настройки по собственному тесту. Для своей задачи решение принимают по валидации.

Связанные понятия: Разделение данных на обучение, валидацию и тест, Метод ближайших соседей.

Сравнение кандидатов требует одинакового критерия ошибки и одной процедуры подготовки данных. Иначе разницу результатов нельзя приписать только гиперпараметру. Валидационная оценка сама зависит от конечной выборки: победа на ней не доказывает наилучшее качество на всей будущей совокупности. Выбранная настройка фиксирует решение процедуры, а независимый тест оценивает уже это решение, включая сделанный выбор.