常见离散概率分布

二项分布 $X\sim B(n,p)$

概率分布函数：$P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}$, $k=0,\cdots,n$

若 $X_1,\cdots,X_k$ 相互独立，且 $X_i\sim B(n_i,p)$，则 $\sum_ {i=1}^{k}X_i\sim B(\sum_{i=1}^k n_i,p)$

期望：

$$\begin{aligned} &E(X)\\ =&\sum_{k=0}^{n}k\binom{n}{k}p^k(1-p)^{n-k}\\ =&np\sum_{k=1}^{n}\binom{n-1}{k-1}p^{k-1}(1-p)^{n-k}\\ =&np\sum_{k=0}^{n-1}\binom{n-1}{k}p^{k}(1-p)^{n-1-k}\\ =&np \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\sum_{k=0}^{n}k^2\binom{n}{k}p^k(1-p)^{n-k}-(np)^2\\ =&\sum_{k=0}^{n}k(k-1)\binom{n}{k}p^k(1-p)^{n-k}+\sum_{k=0}^{n}k\binom{n}{k}p^k(1-p)^{n-k}-(np)^2\\ =&n(n-1)p^2\sum_{k=0}^{n-2}\binom{n-2}{k}p^{k}(1-p)^{n-2-k}+np\sum_{k=0}^{n-1}\binom{n-1}{k}p^{k}(1-p)^{n-1-k}-(np)^2\\ =&np(1-p) \end{aligned}$$

泊松分布 $X\sim Poisson(\lambda)$

概率分布函数：$P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda}$, $k=0,\cdots,+\infty$

对于二项分布 $B(n,p)$，当 $n\rightarrow+\infty$ 且 $np\rightarrow\lambda$ 时，即为泊松分布 $Poisson(\lambda)$ 证明： $\begin{aligned} &\lim_{n\rightarrow+\infty}\binom{n}{k}p^k(1-p)^{n-k}\\ =&\lim_{n\rightarrow+\infty}\frac{n\cdots(n-k+1)}{k! n^k}(np)^k(1-\frac{np}{n})^{n-k}\\ =&\lim_{n\rightarrow+\infty}\frac{\lambda^k}{k!}(1-\frac{\lambda}{n})^{\frac{n}{\lambda}\frac{n-k}{n}\lambda}\\ =&\frac{\lambda^k}{k!}e^{-\lambda} \end{aligned}$

若 $X_1,\cdots,X_k$ 相互独立，且 $X_i\sim Poisson(\lambda_i)$，则 $\sum_ {i=1}^{k}X_i\sim Poisson(\sum_{i=1}^k \lambda_i)$

期望：

$$\begin{aligned} &E(X)\\ =&\sum_{k=0}^{+\infty} k\frac{\lambda^k}{k!}e^{-\lambda}\\ =&\lambda \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\sum_{k=0}^{+\infty} k^2\frac{\lambda^k}{k!}e^{-\lambda}-\lambda^2\\ =&\sum_{k=0}^{+\infty} k(k-1)\frac{\lambda^k}{k!}e^{-\lambda}+\sum_{k=0}^{+\infty} k\frac{\lambda^k}{k!}e^{-\lambda}-\lambda^2\\ =&\lambda \end{aligned}$$

负二项分布 $X\sim NB(r,p)$

概率分布函数：$P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r}$, $k=r,\cdots,+\infty$

期望：

$$\begin{aligned} &E(X)\\ =&\sum_{k=r}^{+\infty}k\binom{k-1}{r-1}p^r(1-p)^{k-r}\\ =&\frac{r}{p}\sum_{k=r}^{+\infty}\binom{k}{r}p^{r+1}(1-p)^{k-r}\\ =&\frac{r}{p} \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\sum_{k=r}^{+\infty}k^2\binom{k-1}{r-1}p^r(1-p)^{k-r}-(\frac{r}{p})^2\\ =&\sum_{k=r}^{+\infty}(k+1)k\binom{k-1}{r-1}p^r(1-p)^{k-r}-\sum_{k=r}^{+\infty}k\binom{k-1}{r-1}p^r(1-p)^{k-r}-(\frac{r}{p})^2\\ =&\frac{r(1-p)}{p^2} \end{aligned}$$

几何分布 $X\sim Ge(p)$

概率分布函数：$P(X=k)=(1-p)^{k-1}p$, $k=1,\cdots,+\infty$

几何分布是无记忆的，$P(X \ge s+t|X\ge t)=P(X\ge s)$

期望：

$$\begin{aligned} &E(X)\\ =&\sum_{k=1}^{+\infty} k(1-p)^{k-1}p\\ =&p\left(\sum_{k=1}^{+\infty} (1-p)^{k}\right)'\\ =&\frac{1}{p} \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\sum_{k=1}^{+\infty} k^2(1-p)^{k-1}p-(\frac{1}{p})^2\\ =&\sum_{k=1}^{+\infty} (k+1)k(1-p)^{k-1}p-\sum_{k=1}^{+\infty} k(1-p)^{k-1}p-(\frac{1}{p})^2\\ =&\frac{2}{p^2}-\frac{1}{p}-\frac{1}{p^2}\\ =&\frac{1}{p^2}-\frac{1}{p} \end{aligned}$$

超几何分布 $X\sim HyG(N,M,n)$

概率分布函数：$P(X=k)=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}$, $\max(0,n-(N-M)) \le k \le \min(M,n)$

期望：

$$\begin{aligned} &E(X)\\ =&\sum k\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}\\ =&\frac{nM}{N}\sum \frac{\binom{M-1}{k-1}\binom{(N-1)-(M-1)}{(n-1)-(k-1)}}{\binom{N-1}{n-1}}\\ =&\frac{nM}{N} \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\sum k^2 \frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}-(\frac{nM}{N})^2\\ =&\sum k(k-1) \frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}+\sum k \frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}-(\frac{nM}{N})^2\\ =&\frac{n(n-1)M(M-1)}{N(N-1)}+\frac{nM}{N}-(\frac{nM}{N})^2\\ =&\frac{nM(N-n)(N-M)}{N^2(N-1)} \end{aligned}$$

常见连续概率分布

均匀分布 $X\sim U(a,b)$

概率密度函数：$f_X(x)=\frac{1}{b-a}$, $x\in[a,b]$

期望：

$$\begin{aligned} &E(X)\\ =&\int_{a}^{b}x\frac{1}{b-a}dx\\ =&\frac{a+b}{2} \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\int_{a}^{b}x^2\frac{1}{b-a}dx-(\frac{a+b}{2})^2\\ =&\frac{a^2+ab+b^2}{3}-\frac{a^2+2ab+b^2}{4}\\ =&\frac{(b-a)^2}{12} \end{aligned}$$

指数分布 $X\sim Exp(\lambda)$

概率密度函数：$f_X(x)=\lambda e^{-\lambda x}$, $x\in[0,+\infty)$

指数分布是无记忆的，$P(X \ge s+t|X\ge t)=P(X\ge s)$

此外，

若 $X\sim Exp(\lambda)$ 与 $Y\sim Exp(\mu)$ 相互独立，则 $\min(X,Y)\sim Exp(\lambda+\mu)$

期望：

$$\begin{aligned} &E(X)\\ =&\int_{0}^{+\infty}x\lambda e^{-\lambda x}dx\\ =&-xe^{-\lambda x}|_{0}^{+\infty}+\int_{0}^{+\infty} e^{-\lambda x}dx\\ =&\frac{1}{\lambda} \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\int_{0}^{+\infty}x^2\lambda e^{-\lambda x}dx-\frac{1}{\lambda^2}\\ =&\int_{0}^{+\infty}2x e^{-\lambda x}dx-\frac{1}{\lambda^2}\\ =&\frac{1}{\lambda^2} \end{aligned}$$

一维正态分布 $X\sim N(\mu,\sigma^2)$

概率密度函数：$f_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$, $x\in(-\infty,+\infty)$

分布函数积分为 1 的证明： 令 $S=\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx$，则 $\begin{aligned} &S^2\\ =&\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y-\mu)^2}{2\sigma^2}}dy\\ =&\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\frac{1}{2\pi}e^{-\frac{x^2+y^2}{2}}dxdy\\ =&\int_{0}^{+\infty}\int_{0}^{2\pi}\frac{1}{2\pi}e^{-\frac{r^2}{2}}rd\theta dr\\ =&1 \end{aligned}$ 故 $S=1$。

期望：

$$\begin{aligned} &E(X)\\ =&\int_{-\infty}^{+\infty}x\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ =&\mu \end{aligned}$$

方差：

$$\begin{aligned} &Var(X)\\ =&\int_{-\infty}^{+\infty}(x-\mu)^2\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ =&\sigma^2\int_{-\infty}^{+\infty}x^2\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx\\ =&\sigma^2\int_{-\infty}^{+\infty}-x\frac{1}{\sqrt{2\pi}}d(e^{-\frac{x^2}{2}})\\ =&\sigma^2\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx\\ =&\sigma^2 \end{aligned}$$

多维正态分布 $X\sim N(\mu,\Sigma)$

概率密度函数：$f_X(x)=\frac{1}{\sqrt{(2\pi)^n\det\Sigma}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)}$, $x\in(-\infty,+\infty)$

更多关于正态分布的性质见另一篇博文《正态分布的性质及推导》