Линейный классификатор

Как в учебнике

В бинарной линейной классификации объект описан вектором $x\in\mathbb R^d$. Вектор весов $w\in\mathbb R^d$ и сдвиг $b\in\mathbb R$ задают счёт:

$$s(x)=w^{\mathsf T}x+b=\sum_{j=1}^{d}w_jx_j+b.$$

Правило задано как $h(x)=1$ при $s(x)\ge0$ и $h(x)=0$ при $s(x)<0$. При $w\ne0$ граница $w^{\mathsf T}x+b=0$ — гиперплоскость; для двух признаков это прямая. При $w=0$ счёт постоянен, и такое правило не создаёт разделяющей гиперплоскости.

Вес умножает соответствующую координату, сдвиг добавляется один раз. Параметры можно настраивать по размеченным данным; конкретный способ обучения — отдельный выбор. Заданная формула описывает применение уже выбранных параметров.

Линейная граница не может представить произвольное расположение классов в исходных признаках. Она может ошибаться на обучающих объектах; гладкость границы сама по себе не доказывает качество на новых данных.

Связанные понятия: Граница решений.

При фиксированных параметрах результат полностью определяется признаками и правилом обработки нулевого счёта. Умножение всех весов и сдвига на одно положительное число сохраняет знак счёта, а значит, и метки классов. Поэтому численное значение счёта само по себе не является вероятностью. Отрицательное масштабирование меняет знаки; его уже нельзя считать тем же правилом с другой единицей измерения.