Probability Course in 2019 Spring

参数估计

矩估计

  • 计算步骤
    1. 求总体的各阶原点矩，用参数表示
      $$\mu_i=g_i(\theta_1,\theta_2,\cdots,\theta_k)$$
    2. 解方程组，用总体矩表示参数
      $$\theta_i=h_i(\mu_1,\mu_2,\cdots,\mu_k)$$
    3. 用样本的矩代替总体矩，得到参数的表示
      $$\theta_i=h_i(\mu_1,\mu_2,\cdots,\mu_k)$$

极大似然估计

  • 计算步骤
    1. 列出以下式子
      $$L(x_1,x_2,\cdots,x_n;\hat{\theta})=\max_{\theta\in\Theta}L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^np(x_i;\theta)$$
    2. 上式取对数, 得到似然方程组
      $$\frac{\partial\ln L(\theta)}{\partial\theta}=\sum_{i=1}^n\frac{\partial\ln p(x_i;\theta)}{\partial\theta}=0$$
    3. 解出参数，注意参数本身的范围

估计量的评价标准

  1. 无偏性
    $$E[\hat{\theta}(X_1,X_2,\cdots,X_n)]=\theta$$
  2. 均方误差
    $$M(\hat{\theta},\theta)=E(\hat{\theta}-\theta)^2=D(\hat{\theta})+(E\hat{\theta}-\theta)^2$$
  3. 一致性
    $$\hat{\theta}_n\stackrel{P}{\to}\theta$$
    1. 无偏, 方差极限为0

区间估计

  1. 基本概念与枢纽变量法

    • 区间估计
      $$P(\hat{\theta}_1<\theta<\hat{\theta}_1)=1-\alpha$$
      分别为置信下限, 置信上限, 置信系数
    • 计算方法
      1. 找一个样本函数, 包含待估参数, 并且分布已知
      2. 根据此分布, 找到常数$a$, $b$, 使得
        $$P(a<U<b)=1-\alpha$$
      3. 利用不等式解出$\theta$范围
    • 双边与单边
      1. 置信度$1-\alpha$
      2. 双边需要取$\alpha/2$或$1-\alpha/2$
      3. 单边直接用$\alpha$或$1-\alpha$

  2. 正态总体$N(\mu, \sigma^2)$中均值$\mu$的置信区间

    • $\sigma^2$已知
      $$\bar{X}\pm u_{\alpha/2}\frac{\sigma}{\sqrt{n}}$$
    • $\sigma^2$未知
      $$\bar{X}\pm t_{\alpha/2}(n-1)\times\frac{S}{\sqrt{n}}$$
  3. 正态总体$N(\mu, \sigma^2)$中方差$\sigma^2$的置信区间
    $$(\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)})$$
  4. 两个正态总体$N(\mu_1, \sigma_1^2)$, $N(\mu_2, \sigma_2^2)$中均值差$\mu_1-\mu_2$的置信区间
    • $\sigma_i^2$已知
      $$\bar{X}-\bar{Y}\pm u_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}$$
    • $\sigma_i^2$未知
      $$\bar{X}-\bar{Y}\pm t_{\alpha/2}(n_1+n_2-2)\times S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}$$
      $$S_w=\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1-n_2-2}}$$
  5. 两个正态总体$N(\mu_1, \sigma_1^2)$, $N(\mu_2, \sigma_2^2)$方差比$\sigma_1^2/\sigma_2^2$的置信区间
    $$(\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha/2}(n_1-1,n_2-1)}, \frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)})$$