Как в учебнике
Для совместно заданных случайных величин $X,Y$ с конечными вторыми моментами ковариация определяется как $\operatorname{Cov}(X,Y)=\mathbb E[(X-\mathbb E[X])(Y-\mathbb E[Y])]$. Равносильная формула: $\operatorname{Cov}(X,Y)=\mathbb E[XY]-\mathbb E[X]\mathbb E[Y]$.
Однонаправленные отклонения дают положительный продукт, разнонаправленные — отрицательный. Усреднение показывает, какие вклады перевешивают. Ковариация зависит от масштаба и измеряется в произведении единиц двух величин; её размер нельзя сравнивать без учёта этих единиц.
Если $Y=2X$ и $X$ равновероятно принимает 2, 4, 6, то $\operatorname{Cov}(X,Y)=2\operatorname{Var}(X)=16/3$. При независимости ковариация равна нулю, но нулевая ковариация не гарантирует независимость.
Контрпример: $U$ равновероятно принимает $-1,0,1$, а $V=U^2$. Тогда $\mathbb E[U]=\mathbb E[UV]=0$, поэтому ковариация нулевая. Но $U=0$ гарантирует $V=0$, хотя $P(V=0)=1/3$. Зависимость есть, просто положительные и отрицательные вклады сократились.
Раскрытие скобок в произведении отклонений даёт $XY-X\mathbb E[Y]-Y\mathbb E[X]+\mathbb E[X]\mathbb E[Y]$. Линейность ожидания и постоянство средних сводят четыре слагаемых к приведённой краткой формуле. Прибавление постоянной к одной величине не меняет её отклонений и ковариацию. Умножение одной величины на число $a$ умножает ковариацию на $a$, поэтому отрицательное масштабирование меняет знак.
Определения и обозначения: Mathematics for Machine Learning.
Связанные понятия: Дисперсия: средний квадрат отклонения, Статистическая независимость.
На пальцах
Ковариация сравнивает парные показатели с их собственными средними. Отклонения в одну сторону дают положительное произведение, а в противоположные — отрицательное. Итог собирает этот баланс с вероятностными весами, но ноль может означать взаимозачёт положительных и отрицательных вкладов, а не отсутствие связи. Такая бухгалтерия не объясняет причин движения и не замечает всякую возможную зависимость: внутри нулевого баланса иногда кипит жизнь.
Пример
Учебный контрпример $V=U^2$ покажет, как нулевая ковариация сосуществует с полной функциональной зависимостью.
Ковариация: совместные отклонения
Связанные значения
Каждая из трёх пар имеет вероятность 1/3.
Шаг 1 из 4: Связанные значения
Все шаги текстом
Связанные значения
Каждая из трёх пар имеет вероятность 1/3.
- U
- −101
- V
- 101
Центрирование
Средние равны 0 и 2/3. Они вычитаются из соответствующих строк.
- Отклонения U
- −101
- Отклонения V
- 1/3текущий−2/3текущий1/3текущий
Произведения отклонений
Крайние произведения противоположны, средний нулевой.
- Произведения
- −1/3исключён01/3включён
Проверка зависимости
Известное U = 0 оставляет только V = 0, его вероятность становится 1.
- Оставшаяся пара
- U = 0включёнV = 0включён
- Без условия; при условии
- 1/31текущий
На крайних исходах отклонение $V$ одинаково и равно $1/3$, а отклонения $U$ противоположны: −1 и 1. Их произведения поэтому сокращаются. Средняя пара добавляет ноль из-за $U=0$, хотя отклонение $V$ там равно $-2/3$. Деление на три оправдано равными вероятностями пар; при других весах потребовалось бы взвешивание, и прежнее сокращение уже нельзя было бы предполагать.
Ковариация измеряет баланс совместных отклонений. Чтобы утверждать независимость, нужна более сильная проверка.