Как в учебнике
События $A$ и $B$ независимы, если $P(A\cap B)=P(A)P(B)$. При $P(B)>0$ это равносильно $P(A\mid B)=P(A)$: информация о наступлении $B$ не меняет вероятность $A$. Определение через произведение не требует деления на положительную вероятность.
Для конечнозначных случайных величин $X$ и $Y$ независимость означает $P(X=x,Y=y)=P(X=x)P(Y=y)$ для каждой пары возможных значений. В общем случае такое же равенство требуют для событий о попадании величин в допустимые множества. Пишут $X\perp Y$ или $X\perp\!\!\!\perp Y$.
Независимость бросков монеты — предположение модели. Она не следует из того, что результаты записаны разными столбцами. Несовместность также не означает независимость: если два события с положительными вероятностями не могут произойти вместе, нулевая вероятность пересечения отличается от положительного произведения.
Независимость при конечных вторых моментах даёт нулевую ковариацию, но обратное неверно. Проверка одного численного показателя связи не заменяет условия для всех событий или всех пар значений.
Условие симметрично: произведение вероятностей не зависит от порядка событий. При положительных вероятностях оно позволяет говорить как о неизменности $P(A\mid B)$, так и о неизменности $P(B\mid A)$. Для конечнозначных величин нужно проверить все пары значений, включая невозможные: если оба отдельных значения имеют положительные вероятности, независимость требует положительной вероятности их совместного появления. Проверка только одной удобной пары вообще не заменяет проверку всего совместного распределения.
Определения и обозначения: Mathematics for Computer Science; Mathematics for Machine Learning.
Связанные понятия: Условная вероятность: пересчитать веса после условия, Ковариация: совместные отклонения.
На пальцах
При независимости сведения о первой монете не меняют вероятность результата второй. Это свойство совместной вероятностной модели, а не мера личного удивления. Если второй результат просто скопирован из первого, два столбца содержат одну и ту же информацию. Два окна могут показывать один фильм: расстояние между окнами на экране не делает их независимыми.
Пример
Учебная модель — два независимых броска честной монеты. В парах О означает орла, Р — решку. Пусть $A$ означает орла в первом, $B$ — во втором. Затем для сравнения приведена модель с копированием результата.
Статистическая независимость
Совместные исходы
Четыре пары имеют одинаковый вес 1/4.
Шаг 1 из 4: Совместные исходы
Все шаги текстом
Совместные исходы
Четыре пары имеют одинаковый вес 1/4.
- Пары
- ОООРРОРР
Оба орла
Пересечение содержит одну пару, вероятность равна 1/4.
- A и B
- ООвключёнОРисключёнРОисключёнРРисключён
Известен второй орёл
Среди ОО и РО первый орёл встречается в половине случаев.
- Оставшиеся пары
- ООвключёнРО
- Условная вероятность
- 1/2включён
Копия результата
В другой модели остаются ОО и РР по 1/2: пересечение больше произведения.
- Пары новой модели
- ООвключёнРР
- Пересечение; произведение
- 1/2исключён1/4текущий
В независимой модели каждое событие содержит две из четырёх равновероятных пар, а совместный орёл — одну. После условия о втором орле остаются две пары, и только одна удовлетворяет первому событию. При копировании отдельные вероятности орла всё ещё равны половине, но совместная вероятность стала половиной вместо четверти. Значит, одних отдельных распределений недостаточно: одинаковые вероятности в двух столбцах совместимы и с независимостью, и с полной зависимостью.
Независимость либо задана как предпосылка, либо обоснована через совместные вероятности. Вид таблицы не служит доказательством.