Ошибка классификации

Как в учебнике

Пусть фиксированный классификатор $h$ проверяется на $n>0$ размеченных наблюдениях $(x_i,y_i)$. Индикатор $\mathbf1\{h(x_i)\ne y_i\}$ равен 1 при неверном ответе и 0 при верном. Ошибка классификации на выборке $S$ — доля неверных ответов:

$$\operatorname{err}_S(h)=\frac1n\sum_{i=1}^{n}\mathbf1\{h(x_i)\ne y_i\}.$$

Сумма считает ошибки, деление на $n$ переводит число в долю от 0 до 1. Каждое наблюдение имеет одинаковый вес. При $n=0$ эта формула не определена: отсутствие проверок не даёт нулевой ошибки.

Та же формула применяется к обучающей, валидационной и тестовой выборкам, но смысл результата зависит от их роли. Нулевое значение на данных, по которым настраивали модель, не устанавливает качество на новых объектах.

Если новые пары $(X,Y)$ приходят из распределения $P$, ошибка на этом распределении — ожидаемый индикатор: $R_P(h)=\mathbb E_{(X,Y)\sim P}[\mathbf1\{h(X)\ne Y\}]$. Это вероятность неверной метки, а не автоматически известное число. Ошибка на независимой представительной выборке оценивает эту величину и может отличаться от неё из-за состава конечной выборки.

Связанные понятия: Классификация с учителем, Разделение данных на обучение, валидацию и тест.

Если ровно $k$ наблюдений предсказаны неверно, эмпирическая ошибка равна $k/n$, а доля верных ответов — $1-k/n$. Формула учитывает только совпадение меток: уверенность предсказания и величина численной разности кодов классов в неё не входят. Перестановка названий классов одновременно в правильных и предсказанных метках не меняет результат. Соответствие каждой пары одному объекту при этом должно сохраняться.