Как в учебнике
Пусть классификатор $h$ назначает каждой точке пространства признаков один из классов. Область решения класса — множество точек, которым $h$ назначает эту метку. Граница решений разделяет области с разными предсказаниями: сколь угодно близко к её точкам находятся точки разных областей.
В двумерном пространстве граница может быть линией или набором кривых; в пространстве большей размерности форма зависит от модели. Граница определяется правилом предсказания, а не просто соединением размеченных объектов.
Для учебного непрерывного счёта $s(x)=x_1+x_2-3$ классы заданы как 1 при $s(x)\ge0$ и 0 при $s(x)<0$. Граница здесь задаётся равенством $s(x)=0$. Значение ровно на границе присвоено классу 1 по принятому соглашению; это соглашение не меняет положение самой границы.
Одна размеченная выборка может допускать разные границы. Значит, удачное разделение известных точек ещё не устанавливает, где должны лежать области предсказаний на новых данных.
Связанные понятия: Классификация с учителем.
В линейном примере при фиксированном $x_2$ переход задаётся значением $x_1=3-x_2$. Для любой точки на этой прямой сколь угодно малые сдвиги первой координаты в разные стороны дают разные знаки счёта. Это подтверждает свойство границы. Вне прямой можно выбрать достаточно малую окрестность, где знак не меняется; поэтому не каждое изменение признаков обязательно меняет класс.
На пальцах
Карта доставки может назначать разные тарифы по разные стороны линии. Адрес задаёт точку, район объединяет одинаковые ответы, а пересечение границы способно сменить тариф при малом перемещении. Правило действует и для новостройки, откуда ещё не было заказов; забор вокруг каждого знакомого адреса превратил бы доставку в градостроительный заговор. Принадлежность самой линии определяется отдельным соглашением, которое не передвигает границу. Карта показывает области решений, но расстояние до черты само по себе не измеряет вероятность или уверенность прогноза.
Пример
В учебной модели изменяется только $x_1$, сохраняя $x_2=1$. Счёт $s=x_1+x_2-3$ позволяет проследить переход через границу без скрытого обучения.
Граница решений
До границы
Для точки (1,1) счёт отрицателен. Модель назначает класс 0.
Шаг 1 из 3: До границы
Все шаги текстом
До границы
Для точки (1,1) счёт отрицателен. Модель назначает класс 0.
- x
- 1текущий1текущий
- Счёт
- -1исключён
- Класс
- 0включён
На границе
В точке (2,1) счёт равен нулю. По принятому соглашению ответ уже 1.
- x
- 2текущий1
- Счёт
- 0текущий
- Класс
- 1включён
После границы
В точке (3,1) счёт положителен. Класс остаётся 1, хотя положение точки изменилось.
- x
- 3текущий1
- Счёт
- 1включён
- Класс
- 1включён
При $x_2=1$ правило сокращается до $s=x_1-2$, поэтому переход происходит ровно при $x_1=2$. Значения 1 и 3 находятся по разные стороны этого порога. Класс точки на пороге выбран отдельно: равенство включено в класс 1. Если включить равенство в класс 0, ответ в самой точке изменится, но соседние области и разделяющая их прямая останутся на прежнем месте.
Источник исходного конспекта: материал лекции.