Как в учебнике
В задаче классификации каждому объекту нужно назначить метку из конечного множества классов $Y$. Объект представлен признаками $x\in X$, где $X$ — пространство допустимых описаний. Размеченная выборка содержит пары $(x_i,y_i)$: признаки и известную правильную метку.
Обучение с учителем использует эти пары для построения классификатора $h:X\to Y$. Для нового описания $x$ модель выдаёт предсказание $\hat y=h(x)$. Шляпка отличает предсказание от правильной метки, которая на момент ответа может быть неизвестна.
Признаки должны иметь одно и то же значение при обучении и предсказании. Например, клиент может описываться доходом и балансом карты. Изображение размером $4\times4$ можно представить вектором из 16 яркостей; меткой будет изображённая цифра. Это разные представления одной задачи назначения класса.
Известные ответы не становятся готовым справочником для каждого будущего объекта. Классификатор должен переносить найденную закономерность на новые описания; объём данных сам по себе не устраняет ошибки в признаках и метках.
Входное описание и правильная метка выполняют разные роли даже тогда, когда оба записаны числами. Метка 1 может обозначать категорию, а не величину, которую требуется приблизить по числовому расстоянию. Для бинарной классификации классов два; выбор конкретных обозначений не меняет задачи. Применение уже построенного $h$ даёт предсказание для каждого допустимого входа, но правильность этого предсказания устанавливается только сравнением с меткой или иным независимым способом проверки.
На пальцах
Сортировка писем по папкам «обычное» и «спам» начинается с примеров, где правильные метки уже известны. Признаки описывают то, что доступно до ответа, например число ссылок, а метка задаёт нужную папку. Для нового письма модель должна применить найденное правило без готовой правильной метки: иначе задача сводится к чтению ответа на конверте. Запоминания знакомых адресов недостаточно для распознавания новых случаев. Аналогия предполагает согласованное значение меток; уверенный классификатор сам по себе не уладит спор разметчиков о смысле слова «спам».
Пример
Учебная модель письма использует два признака: число ссылок и число слов. Для демонстрации уже задано условное правило: не меньше трёх ссылок — метка «спам», иначе «обычное». Пример показывает применение готового $h$, без утверждения, что это правило обучили или что оно пригодно для настоящего фильтра.
Классификация с учителем
Признаки нового письма
Правильная метка нового письма скрыта. Доступны четыре ссылки и двадцать слов.
Шаг 1 из 3: Признаки нового письма
Все шаги текстом
Признаки нового письма
Правильная метка нового письма скрыта. Доступны четыре ссылки и двадцать слов.
- Ссылки
- 4текущий
- Слова
- 20текущий
- Истинная метка
- ?
Описание на входе
Два признака образуют вход модели. Порядок координат фиксирован: ссылки, затем слова.
- x
- 4 ссылкивключён20 словвключён
Предсказанный класс
Заданное правило выдаёт спам. Это предсказание, его правильность ещё нужно проверить по истинной метке.
- Предсказание
- спамтекущий
- Истинная метка
- ?
Во входе $x=(4,20)$ первая координата отвечает за ссылки. Если поменять координаты местами без изменения соглашения модели, то число слов ошибочно станет числом ссылок. Предсказание «спам» в последнем шаге следует из выбранного учебного порога, а знак вопроса у истинной метки остаётся. Снимать этот вопросительный знак на основании уверенного ответа модели нельзя: демонстрация показывает вычисление предсказания, а не доказывает его совпадение с правильной категорией.
Источник исходного конспекта: материал лекции.