Градиентный спуск: шаг против градиента

Как в учебнике

Пусть $L:\mathbb R^d\to\mathbb R$ — дифференцируемая целевая функция, $\theta_t$ — текущие параметры, а $\eta>0$ — выбранный размер шага. Одно обновление градиентного спуска задаётся формулой:

$$\theta_{t+1}:=\theta_t-\eta\nabla L(\theta_t).$$

Индекс t нумерует итерации. На каждой итерации градиент вычисляют заново в текущей точке, затем масштабируют и вычитают. Это правило вычисления следующего состояния, а не утверждение о достижении глобального минимума.

При ненулевом градиенте производная функции вдоль направления $-\nabla L(\theta_t)$ равна $-\|\nabla L(\theta_t)\|_2^2<0$. Поэтому достаточно малый положительный шаг уменьшает цель. Длина конечного шага существенна: локальная гарантия не распространяется на произвольное $\eta$.

Для $L(\theta)=(\theta-2)^2$ производная равна $2(\theta-2)$. Из $\theta_0=0$ при $\eta=1/4$ следующий параметр равен 1, цель уменьшается с 4 до 1. При $\eta=2$ параметр равен 8, а цель — 36. Условия сходимости последовательности требуют отдельного анализа функции и выбора шагов.

Для рассматриваемого квадрата обновление можно записать через ошибку параметра: $\theta_{t+1}-2=(1-2\eta)(\theta_t-2)$. При постоянном $0<\eta<1$ модуль множителя меньше единицы, поэтому расстояние до 2 убывает геометрически. При $\eta=1$ ошибка меняет знак без уменьшения, а при $\eta>1$ ненулевая ошибка растёт по модулю. Эти выводы относятся именно к данному квадрату.

Определения и обозначения: Mathematics for Machine Learning.

Связанные понятия: Градиент: вектор локальных изменений, Минимум функции: наименьшее достигнутое значение.