信息不等式

计算无偏估计的下界。
知道UMVUE与无偏估计下界的关系。

1 CR正则族与CR不等式

定义1：Cramer-Rao正则族

  • 声明
    $$
    {p(x;\theta):\theta\in\Theta}
    $$

  • 条件
    $$
    A_\theta={x:p(x;\theta)>0}与参数\theta 无关\
    \frac{\partial\ln p(x;\theta)}{\partial\theta}存在，\forall x\in A_\theta,\forall\theta\in\Theta\
    \frac{\partial}{\partial\theta}\int_{-\infin}^{+\infin} T(x_1,\dotsm,x_n)p(x_1,\dotsm,x_n;\theta)dx_1\dotsm dx_n=\ \int_{-\infin}^{+\infin}T(x_1,\dotsm,x_n)p(x_1,\dotsm,x_n;\theta)dx_1\dotsm dx_n
    $$

  • 结论
    $$
    {p(x;\theta:\theta\in\Theta)}是Cramer-Rao正则族
    $$

  • 说明

    三个条件可以描述为：x与$\theta$无关，偏导存在，统计量与$\theta$无关。

定义2：Fisher信息量

  • 条件
    $$
    Cramer-Rao正则族
    $$
  • 结论

$$

Fisher信息量：I(\theta)=E_\theta[\frac{\partial}{\partial\theta}\ln p(x;\theta)]^2 \
0\leq I(\theta)\leq +\infin
$$

  • 条件
    $$
    \frac{d^2}{d\theta^2}\int_{-\infin}^{+\infin}p(x;\theta)dx=\int_{-\infin}^{+\infin}\frac{\partial^2p(x;\Theta)}{\partial\theta^2}dx
    $$
  • 结论

$$
I(\theta)=-E_\theta[\frac{\partial^2}{\partial\theta^2}\ln p(x;\theta)]
$$

定义3：样本的FIsher信息量

  • 样本的Fisher信息量：
    $$
    I_n(\theta)=E_\theta[\frac{\partial}{\partial\theta}\ln p(x_1,\cdots,x_n;\theta)]^2=nI(\theta)\
    $$
  • 统计量的Fisher信息量

$$
I_T(\theta)=E_\theta[\frac{\partial}{\partial\theta}\ln p_T(x;\theta)]^2
$$

  • 二者关系
    $$
    I_T(\theta)\leq I_n(\theta)
    $$
    当且仅当T(x)是充分统计量时，等号成立。

定理1：信息不等式

  • 条件

$$
总体分布族{p(x;\theta):\theta\in\Theta}是Cramer-Rao正则族\
0<I(\theta)<+\infin\
T(x_1,\dotsm,x_n)满足Var_\theta(T)<\infin,\forall \theta\in\Theta
$$

  • 结论

$$
\
\varphi(\theta)=E_\theta(T)可微,\forall\theta\in\Theta\
Var_\theta(T)\geq\frac{[\varphi’(\theta)]^2}{nI(\theta)}
$$

推论1：无偏估计方差下界

  • 条件
    $$
    总体分布族{p(x;\theta):\theta\in\Theta}是Cramer-Rao正则族\
    0<I(\theta)<+\infin\
    q(\theta)的任意无偏估计T(x_1,\dotsm,x_n)\in U_q
    $$
  • 结论
    $$
    Var_\theta(T(x_1,\dotsm,x_n))\geq \frac{[q’(\theta)]^2}{nI(\theta)}
    $$
  • 条件
    $$
    q(\theta)=\theta
    $$
  • 结论
    $$
    Var_\theta(T(x_1,\dotsm,x_n))\geq \frac{1}{nI(\theta)}\
    C-R不等式\
    C-R下界\
    $$

    说明，这里使用$\varphi(\theta)$。

2 CR正则族与UMVUE

定义2：有效估计

  • 条件
    $$
    总体分布族{P_\theta:\theta\in\Theta}是CR正则族\
    q(\theta)是可估参数\
    存在无偏估计\hat{q}\in U_q对所有的\theta\in\Theta有：\
    Var_\theta(\hat{q})=\frac{[q’(\theta)]^2}{nI(\theta)}
    $$
  • 结论

$$
则称\hat{q}为有效估计。本质上是能达到方差下界的无偏估计。
$$

定义3：有效率

  • 条件

$$
可估参数q(\theta)的任意无偏估计T\in U_q \
令e(T,q(\theta))=\frac{[q’(\theta)]^2}{nI(\theta)}/Var_\theta(T)
$$

  • 结论

$$
e(T,q(\theta))使用T估计q(\theta)有效率
$$

定义4：渐进无偏估计

  • 条件
    $$
    总体分布族{P_\theta:\theta\in\Theta}\
    {T_n}是估计序列\
    \forall \theta\in\Theta,\lim\limits_{n\rightarrow\infin}E_\theta(T_n)=q(\theta)
    $$
  • 结论
    $$
    T_n为q(\theta)的渐进无偏估计序列
    $$

定义5：渐进有效估计

  • 条件

$$
q(\theta)是可估参数\
无偏估计序列T_n\in\U_q\
\forall \theta\in\Theta,\lim\limits_{n\rightarrow\infin}\frac{[q’(\theta)]^2}{nI(\theta)}/Var_\theta(T_n)=1
$$

  • 结论

$$
T_n为q(\theta)的渐进有效估计
$$