Математическое ожидание: среднее распределения

Как в учебнике

Для случайной величины $X$ с конечным набором значений математическое ожидание определяется как $\mathbb E[X]=\sum_x xP(X=x)$. Сумма берётся по различным возможным значениям, каждое умножается на свою вероятность. Встречаются также записи $E[X]$, $E(X)$ и $M(X)$.

Для равновероятных значений 2, 4, 6 ожидание равно 4. У честной монеты со значениями 0 и 1 оно равно $1/2$, хотя такого результата броска нет. Ожидание описывает распределение и не обещает значение следующего наблюдения.

Для функции величины $\mathbb E_{X\sim D}[g(X)]$ уточняет распределение усреднения. В частности, ожидание индикатора события равно его вероятности: $\mathbb E[\mathbf1\{A\}]=P(A)$. Этим связываются вероятность ошибки классификатора и ожидание индикатора ошибки.

Для бесконечного набора значений конечное ожидание требует абсолютной интегрируемости $\mathbb E[|X|]<\infty$. При плотности $p_X$ ожидание равно $\mathbb E[X]=\int_{-\infty}^{+\infty}x\,p_X(x)\,dx$ с тем же условием. Плотность в точке не равна вероятности отдельного значения. Среднее конкретной выборки — отдельный объект и может отличаться от ожидания.

В конечной модели веса неотрицательны и в сумме равны 1, поэтому ожидание лежит между наименьшим и наибольшим значениями величины. Если все значения увеличены на $c$, ожидание тоже увеличивается на $c$: добавленные вклады дают $c\sum_xP(X=x)=c$. Равные веса — частный случай, в котором взвешенная сумма превращается в обычное среднее списка возможных значений.

Определения и обозначения: Mathematics for Computer Science; Mathematics for Machine Learning.

Связь с проверкой предсказаний разобрана в статье об ошибке классификации.

Связанные понятия: Случайная величина: число для каждого исхода, Среднее арифметическое наблюдений.