Probability Course in 2019 Spring

随机变量的数字特征

数学期望

数学期望的定义

  • 定义4.1 离散型
    设离散型随机变量$X$的分布律为$P(X=x_i)=p_i,i=1,2,\cdots$, 若级数$\sum_{i=1}^{+\infty}|x_i|p_i$收敛, 则
    $$EX=\sum_{i=1}^{+\infty}x_ip_i$$
  • 定义4.2 连续型
    设连续型随机变量$X$的密度为$p(x)$, 若积分$\int_{-\infty}^{+\infty}|x|p(x)dx<\infty$, 则
    $$EX=\int_{-\infty}^{+\infty}xp(x)dx$$

随机变量函数的数学期望

  • 定理4.1 随机变量函数的期望
    1. 离散型
      $$EY=E[g(X)]=\sum_{k=1}^{+\infty}g(x_k)p_k$$
    2. 连续型
      $$EY=E[g(X)]=\int_{-\infty}^{+\infty}g(x)p(x)dx$$
  • 定理4.2 随机向量函数的期望
    1. 离散型
      $$EZ=E[g(X,Y)]=\sum_{i=1}^{+\infty}\sum_{j=1}^{+\infty}g(x_i,y_j)p_{ij}$$
    2. 连续型
      $$EZ=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)p(x,y)dxdy$$

数学期望的性质

  1. 对常数$a,b$, 若$a\leq X\leq b$, 则$a\leq EX\leq b$; 特别地, 当$X\geq 0$时, $EX\geq 0$
  2. 线性性质
    $$E(\sum_ic_iX_i)=\sum_ic_iEX_i$$
  3. 独立变量的期望
    $$E(\prod_iX_i)=\prod_iEX_i$$

方差

方差的定义

  • 定义4.4 方差
    1. 离散型
      $$D(X)=E(X-EX)^2=\sum_{i=1}^{+\infty}(x_k-EX)^2p_k$$
    2. 连续型
      $$D(X)=E(X-EX)^2=\int_{-\infty}^{+\infty}(x-EX)^2p(x)dx$$

方差的性质

  1. $$EX^2<+\infty\quad\quad D(X)=EX^2-(EX)^2$$
  2. 被变量的分布唯一确定
  3. $$D(X)=0\Leftrightarrow P(X=EX)=1$$
  4. $$D(aX+b)=a^2D(X)$$
  5. $$D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-EX)(Y-EY)]$$
  6. 独立变量和的方差
    $$D(\sum_iX_i)=\sum_iD(X_i)$$
  7. 切比雪夫不等式$\forall \epsilon>0$
    $$P(|X-EX|\geq\epsilon)\leq\frac{D(X)}{\epsilon^2}$$

矩

  • 定义4.5
    $EX^k$为$X$的 $k$阶原点矩, $E(X-EX)^k$为$X$的 $k$阶中心矩
    $EX^2=D(x)+(EX)^2$

协方差与相关系数

  • 定义4.6 协方差
    $$\mathrm{cov}(X,Y)=E[(X-EX)(Y-EY)]$$
    $$\mathrm{cov}(X,Y)=E(XY)-EX\cdot EY$$
    $$D(\sum_{k=1}^nX_k)=\sum_{k=1}^nD(X_k)+2\sum_{1\leq i<j\leq n}\mathrm{cov}(X_i,Y_j)$$

  • 协方差性质

    1. 若$X$和$Y$独立, 则$\mathrm{cov}(X,Y)=0$
    2. $\mathrm{cov}(X,X)=D(X)$
    3. 对称性$\mathrm{cov}(X,Y)=\mathrm{cov}(Y,X)$
    4. $\mathrm{cov}(aX+c_1,bY+c_2)=ab\mathrm{cov}(X,Y)$
    5. $\mathrm{cov}(X_1+X_2,Y)=\mathrm{cov}(X_1,Y)+\mathrm{cov}(X_2,Y)$

  • 定理4.3 Cauchy-Schowarz不等式
    $$[\mathrm{cov}(X,Y)]^2\leq D(X)D(Y)$$

  • 定义4.7 相关系数
    $$\rho_{XY}=\mathrm{Corr}(X,Y)=\frac{\mathrm{cov}(X,Y)}{\sqrt{D(X)D(Y)}}$$
  • 相关系数性质
    1. $|\rho_{XY}|\leq 1$
    2. $|\rho_{XY}|=1\Leftrightarrow D(X)>0,D(Y)>0,P(cX+aY=b)=1$, 即$X$与$Y$以概率$1$具有线性关系

随机变量一网打尽

名称 参数 分布律或概率密度 数学期望 方差
0-1分布 $B(x,p)$ $P(X=k)=p^k(1-p)^{1-k}$ $p$ $p(1-p)$
二项分布 $B(n,p)$ $P(X=k)=C_n^kp^k(1-p)^{n-k}$ $np$ $np(1-p)$
负二项分布 $NB(r,p)$ $P(X=k)=C_{k-1}^{r-1}p^r(1-p)^{k-r}$ $\frac{r}{p}$ $\frac{r(1-p)}{p^2}$
几何分布 $G(p)$ $P(X=k)=p(1-p)^{k-1}$ $\frac{1}{p}$ $\frac{(1-p)}{p^2}$
超几何分布 $H(n,M,N)$ $P(X=k)=\frac{C_M^kC_{N-M}^{n-m}}{C_N^n}$ $\frac{nM}{N}$ $\frac{nM}{N}(1-\frac{M}{N})(\frac{N-n}{N-1})$
泊松分布 $P(\lambda)$ $P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda}$ $\lambda$ $\lambda$
均匀分布 $U[a,b]$ $P_{[a,b]}\equiv\frac{1}{b-a}$ $\frac{a+b}{2}$ $\frac{(b-a)^2}{12}$
正态分布 $N(\mu,\sigma^2)$ $p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ $\mu$ $\sigma^2$
$\Gamma$分布 $G(\lambda,r)$ $p(x)_{x>0}=\frac{\lambda^r}{\Gamma(r)}x^{r-1}e^{-\lambda x}$ $\frac{r}{\lambda}$ $\frac{r}{\lambda^2}$
指数分布 $e(\theta)$ $p(x)_{x>0}=\frac{1}{\theta}e^{-\frac{x}{\theta}}$ $\theta$ $\theta^2$
柯西分布 $C(\lambda, \alpha)$ $p(x)=\frac{1}{\pi}\frac{1}{\lambda^2+(x-\alpha)^2}$ $\nexists$ $\nexists$
$$ $$ $$ $$
$$ $$ $$ $$
$$ $$ $$ $$