Как в учебнике
Для скалярной функции $f:\mathbb R^d\to\mathbb R$ градиент собирает первые частные производные. Здесь градиент записан вектором-столбцом: $\nabla f(x)=(\partial f/\partial x_1,\ldots,\partial f/\partial x_d)^{\mathsf T}$. В другой книге он может быть строкой, поэтому размерности нужно проверять.
Если функция дифференцируема в точке $x$, то $f(x+h)=f(x)+\nabla f(x)^{\mathsf T}h+r(h)$, где $r(h)/\|h\|_2\to0$ при $h\to0$. Градиент задаёт линейную часть, а остаток убывает относительно длины шага. Существования отдельных частных производных для этого недостаточно; их непрерывность в окрестности достаточна.
Среди направлений $u$ с $\|u\|_2=1$ направленная производная равна $\nabla f(x)^{\mathsf T}u$ и не превосходит $\|\nabla f(x)\|_2$. При ненулевом градиенте равенство достигается в направлении $u=\nabla f(x)/\|\nabla f(x)\|_2$. Это самый быстрый локальный рост именно в евклидовой геометрии.
Для $f(x_1,x_2)=x_1^2+3x_2^2$ градиент в $(1,2)$ равен $(2,12)^{\mathsf T}$. Минус градиент даёт направление локального убывания, но конечный шаг требует контроля длины. При нулевом градиенте одного этого вектора недостаточно для вывода о минимуме.
Локальное предсказание зависит от согласования знаков: увеличение координаты с отрицательной частной производной уменьшает линейную часть изменения. Размеры компонент сопоставимы только в объявленных единицах координат. После замены единиц численные компоненты градиента меняются. Утверждение о наибольшем росте использует фиксированную норму шага, иначе длину шага можно увеличивать без ограничения.
Определения и обозначения: Mathematics for Machine Learning.
Связанные понятия: Частная производная: изменение одной координаты, Скалярное произведение: из двух векторов в число.
На пальцах
Градиент описывает, как малые повороты нескольких ручек складываются в изменение одного результата. Коэффициент 12 у второй ручки означает сильный отклик в текущей точке и в выбранных единицах, а не её вечное превосходство. При одинаковой евклидовой длине шага стрелка градиента указывает направление наибольшего местного роста. Это подсказка рядом с текущей точкой: километровый прыжок по локальной стрелке остаётся смелой географией.
Пример
В учебной функции $x_1^2+3x_2^2$ рассматриваются точка $(1,2)$ и малый шаг $(0.01,-0.01)$. Пример сопоставляет линейный прогноз с точным изменением.
Градиент: вектор локальных изменений
Частные производные
В точке (1,2) локальные коэффициенты равны 2 и 12.
Шаг 1 из 4: Частные производные
Все шаги текстом
Частные производные
В точке (1,2) локальные коэффициенты равны 2 и 12.
- Градиент
- 2текущий12текущий
Малый шаг
Первая координата растёт на 0.01, вторая уменьшается на 0.01.
- Шаг
- 0.01текущий−0.01текущий
- Вклады
- 0.02включён−0.12исключён
Линейный прогноз
Скалярное произведение даёт изменение −0.10 и прогноз 12.90.
- Исходное; прогноз
- 1312.90текущий
Остаток прогноза
Точное значение 12.9004 отличается на 0.0004 — квадратные члены шага.
- Прогноз; точное; остаток
- 12.9012.9004включён0.0004текущий
В выбранном шаге первый вклад равен $0.02$, второй $-0.12$, поэтому суммарный прогноз отрицателен. Точный остаток $0.0004$ получается из $0.01^2+3(-0.01)^2$; смешанных членов у этой функции нет. Если уменьшить обе компоненты шага вдвое, линейная часть уменьшится вдвое, а остаток — вчетверо. Так пример показывает, почему приближение улучшается на малых шагах, а не просто демонстрирует близкие числа.
Градиент полезен вместе с точкой, размерностями, выбранной геометрией и областью, где линейное приближение точно.