相合估计

1 相合估计

定义1：相合估计

声明
$$
\hat{q_n}=\hat{q}_n(x_1,\dotsm,x_n)是参数q(\theta)的任意估计序列。
$$
条件

$$
{\hat{q}_n}依概率收敛于参数q(\theta)
$$

结论
$$
对任意的\varepsilon>0\
\lim\limits_{n\rightarrow\infin}P_\Theta{|\hat{q}_n-q(\theta)|\geq\varepsilon}=0,\theta\in\Theta\
\hat{q}_n是q(\theta)的相合估计。
$$

简单来说就是满足大数定律的趋近。需要补充大数定律相关的不等式。

定理1：函数相合性

条件

$$
\hat{q_n}是q(\theta)的相合估计\
g(y)在y=q(\theta)处连续\
$$

结论

$$
g(\hat{q_n})是g(q(\theta))的相合估计
$$

频率估计、矩估计、极大似然估计都是相合估计。
统计量的计算过于复杂，可以使用特征函数来简化计算。所以特征函数到底是一个什么东西。

定义2：渐进正太估计

条件

$$
\hat{q}_n=\hat{q}(x_1,\dotsm,x_n)是参数q(\theta)的估计序列\
对\forall \theta\in\Theta，存在满足0<\sigma^2(\theta)<+\infin的\sigma^2(\theta)\

\lim\limits_{n\rightarrow\infin}P{\sqrt{n}[\hat{q}n-q(\theta)]\leq x}=\int{-\infin}^x\frac{1}{\sqrt{2\pi\sigma^2(\theta)}}exp{-\frac{\mu^2}{2\sigma^2(\theta)}}d\mu\
$$

结论

$$
\hat{q}(\theta)具有渐进正态性记作：\hat{q}_n\sim AN(q(\theta),\frac{\sigma^2(\theta)}{n})\
\hat{q}称为渐进正太估计
$$

定理2：频率替换估计是渐进正太估计

均值、频率估计、矩估计、极大似然估计都是渐进正太统计量估计量。

条件
$$
g(\frac{n_1}{n},\dotsm,\frac{n_m}{n})\
是参数q(\theta)=g(p_1(\theta),\dotsm,p_m(\theta))的频率替换估计\
g(y_1,\dotsm,y_2)具有连续偏导数
$$
结论
$$
\sqrt{n}(g(\frac{n_1}{n},\dotsm,\frac{n_m}{n})-g(p_1(\theta),\dotsm,p_m(\theta)))\sim AN(0,\sigma_g^2)\
\sigma_g^2=\sum_{i=1}^m p_i[\frac{\partial}{\partial p_i}g(p_1(\theta),\dotsm,p_m(\theta))]^2 \
-[\sum_{i=1}^m p_i\frac{\partial}{\partial p_i}g(p_1(\theta),\dotsm,p_m(\theta))]^2
$$

定理3：矩估计是渐进正太估计

条件

$$
h(A_1,\dotsm,A_r)是参数q(\theta)=h(\mu_1(\theta),\dotsm,\mu_r(\theta))的矩估计\
总体的2r阶原点矩\mu_{2r}=E_\theta(X^{2r})有限\
且函数h(y_1,\dotsm,y_2)具有连续偏导数
$$

结论

$$
\sqrt{n}(h(A_1,\dotsm,A_r)-h(\mu_1,\dotsm,\mu_r))\sim AN(0,\sigma_h^2)\
\sigma_h^2=\sum_{k=2}^{2r}b_k\mu_k-[\sum_{k=1}^r\mu_k\frac{\partial}{\partial\mu_j}h(\mu_1,\dotsm,\mu_r)]^2\
b_k=\sum_{i+j=k}\frac{\partial}{\partial\mu_i}h(\mu_1,\dotsm,\mu_r)\frac{\partial}{\partial\mu_j}h(\mu_1,\dotsm,\mu_r),k=2,3,\dotsm,2r
$$