抽样分布

目的是为了求统计量的分布。（概率分布，分布律，概率密度）

定义：抽样分布

统计量的分布为抽样分布。及对样本的统计量的分布进行研究，然后反应总体的概率分布。

1 特征函数

样本的统计量的本质理解，这里都是将多个随机变量，按照某种方式，进行运算，得到一个唯一的统计量。

这个运算过程中可能伴随着其他参数，形成统计函数簇。这里的特征函数$\Gamma$函数都是添加一个特征参数，形成统计函数簇，描述原来样本某个方面的特点。

这里不能用总体分布簇来理解。

定义1：特征函数

X是随机变量$e^{-itX}$数学期望为X的分布的特征函数。
$$
\varphi_X(t)=E(e^{itX})=Ecos(tX)+iEsin(tX)\
连续型：\varphi_X(t) =E(e^{itX})= \int_{-\infin}^{+\infin}f(x)e^{itx}dx \
离散型：\varphi_X(t) =E(e^{itX})= \sum_kp_ke^{(itx_k)}
$$

公式：常见分布的特征函数

二项分布$B(n,p)$的特征函数$\varphi(t)=[pe^{it}+(1-p)]^n$
泊松分布$P(\lambda)$的特征函数$\varphi(t)=e^{\lambda(e^{it}-1)}$
正态分布$N(\mu,\sigma^2)$的特征函数$\varphi(t)=e^{i\mu t-\frac{1}{2}\sigma^2t^2}$

性质：特征函数的性质

有界性
线性变换。$Y=aX+b,\varphi_Y(t)=e^{ibt}\varphi(at)$
函数相加。X与Y 相互独立则：
$\varphi_{(X+Y)}(t)=\varphi_X(t)\varphi_Y(t)$
可以推广到高维随机变量。
X的n阶原点矩$E(X^n)$，X的特征函数$\varphi(t)$的n阶导数。

$$
E(X^k)=i^{-k}\varphi^{(k)}(0)
$$

随机变量的分布函数与其特征函数相互唯一确定。高维独立随机变量的概率密度等于每个随机变量的连乘积。
$$
Z=(Z_1,Z_2,\dotsm,Z_n)^T \
\varphi_Z(t)=E(e^{i(t_1Z_1+\dotsm+t_nZ_n)})
$$
设矩阵$\overrightarrow{Z}=(\overrightarrow{Z_1},\overrightarrow{Z_2},\dotsm,\overrightarrow{Z_n})^T$，其中所有的高维向量相互独立的充分必要条件是
$$
\varphi(t)=\varphi_{Z_1}(t_1)\varphi_{Z_2}(t_2)\varphi_{Z_n}(t_n)
$$

1.2 $\Gamma$函数

定义：$\Gamma$函数

$$
\Gamma(s)=\int_0^{+\infin}x^{s-1}e^{-x}dx,s>0
$$

公式：递推公式：

$$
\Gamma(s+1)=s\Gamma(s),s>0,s\in R \
\Gamma(n+1)=n!,s>0,s\in N
$$

性质：极限

当$s\rightarrow 0^+$时，$\Gamma(s)\rightarrow+\infin$

公式：余元公式

$$
\Gamma(s)\Gamma(1-s)=\frac{\pi}{sin(\pi s)},s\in (0,1) \
\Gamma(\frac{1}{2})=\sqrt{\pi}
$$

2 三大分布-$\chi^2$分布

定义：$\chi^2$分布

$X_1,X_2,\dotsm,X_n$独立同分布，$X_i\sim N(0,1)$
$$
\chi^2=X_1^2+X_2^2+\dotsm+X_n^2
$$
服从自由度为n的$\chi^2$分布，记作：$\chi^2\sim\chi^2(n)$

定理1：$\chi^2(n)$概率密度

$\chi^2$分布的概率密度
$$
f(x)=
\begin{cases}
\frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{-\frac{x}{2}} ,&x>0 \
0,&x\leq 0

\end{cases}
$$

定理2：$\chi^2(n)$与$N(\mu,\sigma^2)$

$X_1,X_2,\dotsm$服从正态分布$N(\mu,\sigma^2)$则有
$$
\chi^2=\frac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\sim\chi^2(n)
$$

定理3:$\chi^2(n)$期望方差

若$X\sim\chi^2(n)$，则：
$$
\varphi(t)=(1-2it)^{-\frac{n}{2}} \
E(X)=n,Var(X)=2n
$$

定理4：$\chi^2(n)$可加性

设$X_1\sim\chi^2(n_1),X_2\sim\chi^2(n_2)$，两者相互独立，则
$$
X_1+X_2\sim\chi^2(n_1+n_2)
$$

3 三大分布-$t$分布

定义：$t$分布

设随机变量$X\sim N(0,1),Y\sim \chi^2(n)且$X与Y相互独立。
$$
T = \frac{X}{\sqrt{\frac{Y}{n}}}
$$
服从自由度为n的T分布，记作$T\sim t(n)$

定理5：$t(n)$概率密度

$t(n)$分布的概率密度
$$
f(t)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt{n\pi}\Gamma(\frac{n}{2})}(1+\frac{t^2}{n})^{-\frac{n+1}{2}}
$$

定理6：$t(n)$与$N(\mu,\sigma^2)$

设$X\sim N(\mu,\sigma^2),\frac{Y}{\sigma^2}\sim \chi^2(n)$,且X与Y相互独立
$$
T=\frac{X-\mu}{\sqrt{\frac{Y}{n}}}\sim t(n)
$$

4 三大分布-$F$分布

定义：$F$分布

设$X\sim \chi^2(n_1),Y\sim\chi^2(n_2)$，且X与Y相互独立
$$
F=\frac{X/n_1}{Y/n_2}
$$
服从自由度为$(n_1,n_2)$的F分布,记作$F\sim F(n_1,n_2)$

定理7：$F(n_1,n_2)$概率密度

$$
f(z)=\begin{cases}
\frac{\Gamma(\frac{n_1+n_2}{2})}{\Gamma(\frac{n_1}{2})\Gamma(\frac{n_2}{2})}x^{\frac{n_1}{2}-1}y^{\frac{n_2}{2}-1}e^{-\frac{x}{2}}e^{-\frac{y}{2}} & x>0,y>0\
0 & else
\end{cases}
$$

定理8：$F(n_1,n_2)$倒数特性

若$F\sim F(n_1,n_2)$,则$\frac{1}{F}\sim F(n_2,n_1)$

5 正太总体下统计量的分布

定理9:$N(\mu,\sigma^2)$线性可加性

$X\sim N(\mu,\sigma^2),X_1,X_2,\dotsm,X_n$

$$
若：Y = a_1X_1+a_2X_2+\dotsm+a_nX_n \
a_1,a_2,\dotsm ,a_n不都为0\
则：Y\sim N(\mu\sum_{k=1}^na_k,\sigma^2\sum_{k=1}^na_k^2) \
\overline{X}\sim N(\mu,\frac{\sigma^2}{n})
$$

定理10：$N(\mu,\sigma^2)$高维正太分布

$X\sim N(\mu,\sigma^2),X_1,X_2,\dotsm$，$A$是$m\times n$维矩阵，b是m维实向量。$Z=(X_1,X_2,\dotsm,X_N)$服从m维正太分布
$$
Y\sim N(\mu A 1_n+b,\sigma^2AA’)
$$

定理：对高维正太分布的补充（4个定理）

正交变换不改变独立性
每行每列长1，人两行、列垂直。
旋转和镜像是正交变换。
独立性-不相关在线性代数上对应垂直。

补充1：

$$
\overrightarrow{X}\sim N(\overrightarrow{\mu},\Sigma) \
\overrightarrow{Y}=A\overrightarrow{X}+b\sim N(A\overrightarrow{\mu}+b,A\Sigma A^T)
$$
2. 补充2

$$
X_i\sim N(\mu,\sigma^2)\
\overrightarrow{X}=N(\mu\overrightarrow{I},\sigma^2\overrightarrow{I}) \
\overrightarrow{Y}=A\overrightarrow{X}+b\sim N(\mu A\overrightarrow{I}+b,\sigma^2AA^T)

$$
3. 补充3

$$
AA^T=I\
Y=A\overrightarrow{X}+b\sim N(\mu A\overrightarrow{I}+b,\sigma^2I)
$$
说明了正交变换不改变多个随机变量的独立性。正交A每行列长都为i，任意两行、列垂直正交。

补充4

$$
X_i\sim(0,\sigma^2)\
\overrightarrow{Y}=A\overrightarrow{X}\sim N(0,\sigma^2I)
$$
若样本期望为零，正交变换保留独立性，保留分布特点。

定理11:$N(\mu,\sigma^2)$均值与方差

$X\sim N(\mu,\sigma^2),X_1,X_2,\dotsm,X_n$
样本均值与样本方差独立，且：
$$
\overline{X}\sim N(\mu,\frac{\sigma^2}{n})\
\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)

样本均值与样本方差相互独立！！！！
在样本方差计算过程中，存在$\sum(x_i-\overline{x})^2$中线性无关项只有n-1个，而非n个。因为n个式子当中，x的均值与另外n个相互独立的变量之间存在线性关系，所以，必然可以去掉一个变量。称为（n-1）个线性无关的变量。

定理12：$N(\mu,\sigma^2)$均值方差

$X\sim N(\mu,\sigma^2),X_1,X_2,\dotsm,X_n$
$$
\frac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1)\
\frac{(\overline{X}-\mu)^2}{S^2/n}\sim F(1,n-1)\
$$

定理13：$N(\mu,\sigma^2)$均值方差

$X\sim N(\mu_1,\sigma_1^2),X_1,X_2,\dotsm,X_n$;
$Y\sim N(\mu_2,\sigma_2^2),Y_1,Y_2,\dotsm,Y_n$并且X与Y相互独立。则：
$$
T = \frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2) \

其中：S_w=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}
$$

定理14：$N(\mu,\sigma^2)$均值方差

$X\sim N(\mu_1,\sigma_1^2),X_1,X_2,\dotsm,X_n$;
$Y\sim N(\mu_2,\sigma_2^2),Y_1,Y_2,\dotsm,Y_n$并且X与Y相互独立。则：
$$
F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1)
$$