Estom的博客

考试1 考试内容第一章：基础知识 充分统计量 正态分布 三大分布的性质； 第二章：参数估计 估计方法：频率估计、矩估计、极大似然估计方法 评优准则：无偏估计、一致最小方差无偏估计 Fisher信息量、有效估计； 相合估计、区间估计不考，但是可以加深对假设检验的理解。 第三章：假设检验 基本概念：拒绝域、第一第二类错误、势函数定义， 正态总体假设检验（必考，重要） 似然比检验， 检验的优良性：最优势检验、一致最优势检验、无偏检验； 第四章：回归分析 大作业内容已考察； 第五章：方差分析与正交试验 极差分析和正交表设计； 第六章：多元正太总体 不做要求； 第七章：判别分析 大作业内容已考察； 第八章：相关分析 主成分分析。 参数估计 求：极大似然估计、一致最小方差无偏估计 求Fisher信息量 判断是否有效估计 求无偏估计参数的值15年5 主成分 求特征向量 计算特征值 归一化

# 1 概率论的基本概念 ## 1.1 随机事件 * 样本空间$S$：将随机实验所有可能的记过组成的集合称为样本空间。 * 样本点：样本空间的每个结果称为样本点。 * 随机试验、随机事件$E$、基本事件、必然事件、不可能事件、对立事件$A\overline{A}$、古典概型。 ## 1.2 频率与概率 * 频率：在相同的条件下进行$n$次实验，事件$A$发生的次数$n_A$称为事件$A$发生的频数。$\frac{n_A}{n}$称为事件$A$发生的频率。 * 概率：$E$是随机试验，$S$是样本空间。$P(A)$称为事件$A$的概率。 * 频率与概率的性质： * 非负性：$P(A)>0$ * 规范性：$P(S)=1$ * 可列可加性：$A_iA_j=\emptyset,P(A_1\cup A_2\cup\dotsm\cup P_n)=P(A_1)+P(A_2)+\dotsm+P(A_n)$ ## 1.3 条件概率 ### 定义 设$A,B$是两个事件，且$P(A)>0$,则称 $$ P(B|A)=\frac{P(AB)}{P(A)} $$ 也是一种链式...

# 数理统计基本概念 ## 1 总体、个体、样本、随机变量 ### 基本概念 灯泡总体 N 个，次品N$\theta$,随机抽取n个，n$\ll$N。不放回抽样，前一次抽取结果对后一次结果有影响。 * **总体**：研究对象的全体 * **个体**：总体中的每个对象。 * **随即变量**：个体某一方面的指标 * **独立同分布**：任意两个灯泡之间没有影响，这种独立性是一种近似假设，其实相互之间存在影响，因为太大；n个个体具有相同的概率分布特点 * **样本**：$X_1,X_2,X_3,\ldots$总体的一个子集 * **样本容量**：样本中个体的数量 * **样本空间**：样本所有的可能的取值构成的空间$X$。 > 通过抽样结果，推断总体的统计规律。首先说，概率论描述的是未发生的事件的概率。而数理统计描述的是对已经发生的事件的总结。统计规律包括概率（分布律和概率密度）、分布函数、均值、方差等统计量。 > 总体与样本的概率分布区别。 > * 总体符合的分布规律与个体符合的分布规律相同。 > * 样本的概率分布是样本个数的累加后的概率分布。 ### 参数空间与总体...

统计量 知识梳理：A类随机变量，具有数字特征，通过概率计算估计量。B类样本多个，具有统计特征，通过样本计算统计量。 知识梳理2：关于一维的讨论已经没有必要了。样本永远是高维变量。所以要考虑联合分布函数、联合分布列、联合概率密度、边缘分布列、边缘概率密度、边缘分布函数。 1 统计量定义：统计量$X_1,X_2,\dotsm,X_n$来自总体的简单样本。样本函数$T(X_1,X_2,\dotsm)$不包含任何未知的参数，称为统计量。 2 常用统计量公式：样本均值（样本1阶原点矩）$$\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$ 公式：样本方差$$S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2$$ 公式：样本标准差$$S = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2}$$ 公式：k阶原点矩$$A_k = \frac{1}{n}\sum_{i=...

抽样分布 目的是为了求统计量的分布。（概率分布，分布律，概率密度） 定义：抽样分布统计量的分布为抽样分布。及对样本的统计量的分布进行研究，然后反应总体的概率分布。 1 特征函数 样本的统计量的本质理解，这里都是将多个随机变量，按照某种方式，进行运算，得到一个唯一的统计量。 这个运算过程中可能伴随着其他参数，形成统计函数簇。这里的特征函数$\Gamma$函数都是添加一个特征参数，形成统计函数簇，描述原来样本某个方面的特点。 这里不能用总体分布簇来理解。 定义1：特征函数X是随机变量$e^{-itX}$数学期望为X的分布的特征函数。$$\varphi_X(t)=E(e^{itX})=Ecos(tX)+iEsin(tX)\连续型：\varphi_X(t) =E(e^{itX})= \int_{-\infin}^{+\infin}f(x)e^{itx}dx \离散型：\varphi_X(t) =E(e^{itX})= \sum_kp_ke^{(itx_k)}$$ 公式：常见分布的特征函数 二项分布$B(n,p)$的特...

参数的点估计1 参数及其估计假设存在$p(x,\theta)$总体分布簇。将与总体有关的待估计的量看成参数，包括$\theta$和与$\theta$的函数$q(\theta)$。例如总体的数学期望$E(X)$与方差$Var(X)$。 可以将总体的期望和方差看做总体的本身的一种属性。 定义：参数估计用于估计参数$\theta$ 或 $q(\theta)$样本的统计量$T(X_1,X_2,\dotsm,X_n)$称为估计量或估计值。构造统计量$T(x_1,x_2,\dotsm,x_n)$作为参数$q(\theta)$的估计。$$\hat{q}(x_1,x_2,\dotsm,x_n)=T(x_1,x_2,\dotsm,x_n)$$ 2 频率替换原理定义：频率估计n次重复独立实验，每次实验中有m个可能的结果$v_1,v_2,\dotsm,v_i$。每个结果的概率为$p_i$。用$n_i$表示n次独立重复实验中$D_i$发生的次数，则联合分布概率为：$$p(n_1,n_2,\dotsm,n_m)=\frac{n!}{n_1!n_2!\dotsm n_m!}p_1^{...

估计量的评优准则 数学在某些方面具有通用规律。比如导数与指数，本来两个毫不相关的东西，却存在着很默契的联系。 n阶求导可以降低幂函数的n阶指数。 在泰勒展开式中，就通过n阶导数与n阶指数来从不同阶次逼近一个函数。 而在概率统计这一部分，n阶矩与n阶指数n阶导数也有着关系。似乎一个统计量可以展开成n阶矩的表示方法，一阶中心距逼近，二阶中心距逼近，三阶中心距逼近等。 UMVUE 计算必考 1 均方误差准则定义1：均方误差$$MSE_\theta(T(x))=E_\theta[T(X)-q(\theta)]^2 \$$若$MSE<+\infin$$$MSE_\theta(T(x))=Var_\theta(T(x))+E^2_\theta[T(X)- q(\theta)]$$上式成立，因为方差加减一个常数，不影响方差的大小。 定义2：一致占优对于$\forall\theta\in\Theta$$$MSE_\theta(T(x))\leq MSE_\theta(S(x))$$则成T(x)比S(x)好，S(X)是不被容许的。T(X)一致占优 2 无偏估计定...

信息不等式 计算无偏估计的下界。知道UMVUE与无偏估计下界的关系。 1 CR正则族与CR不等式定义1：Cramer-Rao正则族 声明$${p(x;\theta):\theta\in\Theta}$$ 条件$$A_\theta={x:p(x;\theta)>0}与参数\theta 无关\\frac{\partial\ln p(x;\theta)}{\partial\theta}存在，\forall x\in A_\theta,\forall\theta\in\Theta\\frac{\partial}{\partial\theta}\int_{-\infin}^{+\infin} T(x_1,\dotsm,x_n)p(x_1,\dotsm,x_n;\theta)dx_1\dotsm dx_n=\ \int_{-\infin}^{+\infin}T(x_1,\dotsm,x_n)p(x_1,\dotsm,x_n;\theta)dx_1\dotsm dx_n$$ 结论$${p(x;\theta:\theta\in\Theta)}是Cramer-Rao...

相合估计1 相合估计定义1：相合估计 声明$$\hat{q_n}=\hat{q}_n(x_1,\dotsm,x_n)是参数q(\theta)的任意估计序列。$$ 条件 $${\hat{q}_n}依概率收敛于参数q(\theta)$$ 结论$$对任意的\varepsilon>0\\lim\limits_{n\rightarrow\infin}P_\Theta{|\hat{q}_n-q(\theta)|\geq\varepsilon}=0,\theta\in\Theta\\hat{q}_n是q(\theta)的相合估计。$$ 简单来说就是满足大数定律的趋近。需要补充大数定律相关的不等式。 定理1：函数相合性 条件 $$\hat{q_n}是q(\theta)的相合估计\g(y)在y=q(\theta)处连续\$$ 结论 $$g(\hat{q_n})是g(q(\theta))的相合估计$$ 频率估计、矩估计、极大似然估计都是相合估计。统计量的计算过于复杂，可以使用特征函数来简化计算。所以特征函数到底是一个什么东西。 定义2：渐进正太...

区间估计1 概述定义1：置信区间 声明$$总体分布族{P_\theta:\theta\in\Theta}\存在统计量T_1(x),T_2(x)，给定的\alpha(0<\alpha<1)$$ 条件$$P_\theta{T_1(x_1,\dotsm,x_n)\leq\theta\leq T_2(x_1,\dotsm,x_n)}\geq1-\alpha$$ 结论$$随机区间[T_1,T_2]为参数\theta的置信水平为1-\alpha的置信区间\T_1为置信下限，T_2为置信上限，1-\alpha为置信水平置信度$$ 理解：置信度与置信区间的辩证关系 置信度与置信区间之间存在不等式关系。置信度—随机变量区间的概率分布，之间存在不等式关系。可以通过其不等式关系+枢轴变量法，求得当前>=当前置信度$1-\alpha$的置信区间。 在相同的置信区间下，置信度越高越好。在相同的置信度下，置信区间越小，表示精确度越高，越好。 置信度表示可信程度，越高越好，置信区间表示精确度，越小越好。 当样本容量n固定式，置信度越大，估计参数的可信度就越高，但置信区间也越大，...