概率的公理化定义、条件概率、期望方差协方差、大数定律中心极限定理

Jun 10, 2015

版权声明：本文为博主原创，未经作者许可谢绝转载。
如有任何疑问或者建议，请联系 xiangchen.cs@gmail.com

概率的公理化定义

样本空间

随机实验所有可能的结果构成的集合，记为 $\Omega$

事件域

集合 $\mathcal{F}$，满足

  1. $\Omega\in \mathcal{F}$
  2. 若 $A\in\mathcal{F}$，则对立事件 $\overline{A}\in \mathcal{F}$
  3. 若 $A_n\in\mathcal{F}$，则可列并 $\bigcup_ {n=1}^{+\infty}A_n\in\mathcal{F}$

概率的公理化定义

若任意事件 $A\in\mathcal{F}$，实值函数 $P(A)$ 满足：

  1. 非负性公理：$P(A)\ge 0$
  2. 正则性公理：$P(\Omega)=1$
  3. 可列可加性公理：对于任意互斥事件 $A_i, i=1,\cdots$, $P(\sum_ {i=1}^{+\infty} A_i)=\sum_ {i=1}^{+\infty} P(A_i)$

则称 $P(A)$ 为 $A$ 的概率。称 $(\Omega,\mathcal{F},\mathcal{P})$ 为概率空间。

概率的基本性质

  1. $P(\Phi)=0$
  2. 可加性：对于任意互斥事件 $A_i, i=1,\cdots,n$, $P(\sum_ {i=1}^{n} A_i)=\sum_ {i=1}^{n} P(A_i)$
  3. 单调性：若 $A\subset B$，则 $P(A)\le P(B)$
  4. 加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$

条件概率

$P(B)>0$，定义 $P(A|B)=\frac{P(AB)}{P(B)}$

乘法公式

$P(A_1A_2\cdots A_n)=P(A_1)P(A_2|A_1)\cdots P(A_n|A_1\cdots A_ {n-1})$

全概率公式

称 $B_1,\cdots,B_n\in\mathcal{F}$ 为 $\Omega$ 的一个正划分，若

  1. $B_iB_j=\Phi$, $\forall i\neq j$
  2. $\Omega=\bigcup_ {i=1}^n B_i$
  3. $P(B_i)>0$, $\forall i$

全概率公式：$P(A)=\sum_ {i=1}^nP(A|B_i)P(B_i)$

贝叶斯公式

$B_1,\cdots,B_n\in\mathcal{F}$ 为 $\Omega$ 的一个正划分，$P(A)>0$，则

$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_ {j=1}^nP(A|B_j)P(B_j)}$

独立

事件 $A$、$B$ 独立，若 $P(AB)=P(A)P(B)$

事件 $A_1,\cdots,A_n$ 独立，若 $\forall 2\le k\le n$，$\forall 1\le i_1<\cdots<i_k\le n$，$P(A_ {i_1}\cdots A_ {i_n})=P(A_ {i_1})\cdots P(A_ {i_n})$

期望、方差、协方差

对于任意一组各自期望都存在的随机变量 $X_1,\cdots,X_n$，有 $E(X_1+\cdots+X_n)=E(X_1)+\cdots+E(X_n)$

全期望公式：$E(E(X|Y))=E(X)$

$X_1,\cdots,X_n$ 独立同分布且期望存在，则 $E(\sum_ {i=1}^N X_i)=E(X_i) E(N)$

若离散随机变量 $X$ 非负且期望存在，则 $E(X)=\sum_ {i=0}^{+\infty}P(X>i)$

若连续随机变量 $X$ 的期望存在，则 $E(X)=\int_ {0}^{+\infty}P(X>x)dx-\int_ {-\infty}^{0}P(X<x)dx$

方差 $Var(X)=E(X-E(X))^2=E(X^2)-(E(X))^2$

协方差 $Cov(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)$

$Var(X\pm Y)=Var(X)+Var(Y)\pm 2Cov(X,Y)$

大数定律、中心极限定理

不等式

Markov 不等式

设 $X\ge0$ 且期望存在，则 $\forall x>0$，$P(X>x)\le \frac{E(X)}{x}$

证明： $E(X)=\int_ {0}^{+\infty}P(X>t)dt\ge \int_ {0}^{x}P(X>t)dt \ge x P(X>x)$

Chebyshev 不等式

设 $X$　是一随机变量且期望、方差存在，则对任意 $k>0$，有 $P(|X-\mu|\ge k)\le\frac{\sigma^2}{k^2}$。

证明： 利用 Markov 不等式，$P((X-\mu)^2\ge k^2)\le\frac{E((X-\mu)^2)}{k^2}$，可得结论。

大数定律

弱大数定律

设 $X_1,X_2,\cdots$ 为独立同分布的随机变量序列，期望 $E(X_i)=\mu$ 有限。则对 $\forall \epsilon>0$，$n\rightarrow \infty$ 时，$P\left(|\frac{X_1+\cdots+X_n}{n}-\mu|\ge\epsilon\right)\rightarrow 0$。

强大数定律

设 $X_1,X_2,\cdots$ 为独立同分布的随机变量序列，期望 $E(X_i)=\mu$ 有限。则 $n\rightarrow \infty$ 时，$\frac{X_1+\cdots+X_n}{n}$ 以概率 1 趋近于 $\mu$。

中心极限定理

设 $X_1,X_2,\cdots$ 为独立同分布的随机变量序列，期望 $E(X_i)=\mu$，方差 $Var(X_i)=\sigma^2$。则对 $\forall a$，$n\rightarrow \infty$ 时，有

。

证明：令 $\frac{(X_i-\mu)}{\sigma}$ 的矩母函数为 $M(t)$（矩母函数的概念和性质另有博文进行了详细介绍），则 $\frac{X_1+\cdots+X_n-n\mu}{\sigma\sqrt{n}}$ 的矩母函数为 $[M(t/\sqrt{n})]^n$。令 $L(t)=ln M(t)$，可推得 $L(0)=0$，$L’(0)=0$，$L^{(2)}(0)=1$。根据洛必达法则有 $\lim_ {n\rightarrow \infty} nL(\frac{t}{\sqrt{n}})=\frac{t^2}{2}$。据此可得结论。