Как в учебнике
Пусть есть $n\ge1$ объектов $x_i\in\mathbb R^d$ с числовыми ответами $y_i$. Линейная модель $f_\theta(x)=\theta^{\mathsf T}x$ имеет параметры $\theta\in\mathbb R^d$. При фиксированном $\lambda>0$ квадратичная L2-регуляризация добавляет к средней квадратичной ошибке штраф $\lambda\|\theta\|_2^2$.
$$\theta^*\in\operatorname*{argmin}_{\theta\in\mathbb R^d}\left[\frac1n\sum_{i=1}^n(\theta^{\mathsf T}x_i-y_i)^2+\lambda\|\theta\|_2^2\right].$$
Первое слагаемое оценивает совпадение предсказаний с данными, второе увеличивает цель при больших параметрах. Коэффициент λ регулирует вес штрафа и считается фиксированным внутри этой задачи оптимизации. Штраф распространяется на все координаты параметров; для модели с отдельным свободным членом соглашение о его штрафе нужно объявлять отдельно.
Именно для этой квадратичной задачи на всей $\mathbb R^d$ при $\lambda>0$ минимум существует и единственен: штраф делает цель строго выпуклой и растущей при неограниченном увеличении нормы. Это утверждение не переносится автоматически на произвольную модель с тем же словом «регуляризация».
В скалярном случае $x_1=1$, $y_1=2$, $\lambda=1$ цель равна $(\theta-2)^2+\theta^2=2(\theta-1)^2+2$. Оптимум смещается с 2 к 1. Штраф меняет саму задачу; одного его наличия недостаточно для гарантии качества на новых данных.
Норма входит в цель в квадрате: $\|\theta\|_2^2=\sum_j\theta_j^2$. Положительные и отрицательные коэффициенты одинакового модуля штрафуются одинаково. Изменение масштаба признака меняет коэффициент, нужный для того же предсказания, и потому меняет штраф. Соглашение о масштабе признаков является частью задачи; коэффициенты из разных шкал нельзя сравнивать только по их числам.
Определения и обозначения: Mathematics for Machine Learning; Deep Learning: Notation.
Связанные понятия: Argmin: множество минимизирующих входов, Норма вектора: что считать длиной.
На пальцах
Хорошее совпадение с данными иногда достигается ценой больших коэффициентов. L2-регуляризация добавляет второй счёт — за сумму квадратов этих коэффициентов, поэтому итоговая цель учитывает обе статьи расходов. Вес штрафа задаёт баланс, но не запрещает большие параметры и не гарантирует качество на новых данных. Смена единиц признака способна изменить требуемый коэффициент и сумму штрафа при том же эффекте. Кассир честно следует формуле и не замечает, что сантиметры переоделись в метры, поэтому шкалы имеют значение.
Пример
В учебном примере один объект имеет $x=1$, ответ $y=2$, а $\lambda=1$. Пример сравнивает ошибку, штраф и сумму в нескольких точках.
L2-регуляризация: штраф за размер параметров
Нулевой параметр
Параметр 0 ничего не платит за норму, но даёт ошибку 4.
Шаг 1 из 4: Нулевой параметр
Все шаги текстом
Нулевой параметр
Параметр 0 ничего не платит за норму, но даёт ошибку 4.
- θ; ошибка; штраф; сумма
- 0текущий4исключён0включён4
Точное совпадение
Параметр 2 обнуляет ошибку, но штраф равен 4.
- θ; ошибка; штраф; сумма
- 2текущий0включён4исключён4
Компромисс
Параметр 1 даёт две единицы расходов и сумму 2.
- θ; ошибка; штраф; сумма
- 1текущий1включён1включён2включён
Обоснование оптимума
Квадрат в разложении неотрицателен, поэтому цель нигде не ниже 2.
- Минимизатор; минимум
- 1включён2включён
Три проверенные точки не доказывали бы, что между ними нет более выгодного параметра. Разложение $2(\theta-1)^2+2$ закрывает этот пробел для всех действительных $\theta$: первое слагаемое неотрицательно и обнуляется только при 1. Если оставить один объект, но произвольное $\lambda>0$, минимум достигается при $\theta=2/(1+\lambda)$. Эта формула показывает, как усиление штрафа сдвигает решение к нулю именно в учебной задаче.
Ошибка на обучающих данных, регуляризованная цель и качество на новых объектах различаются: оптимизируется здесь только объявленная сумма.