Estom的博客

1 多元正太分布的定义定义1：密度函数 条件 $$\mu是p维向量,\\Sigma是p\times p维协方差矩阵,\x\sim N_p(\mu,\Sigma)$$ 结论 $$p(x)=(2\pi)^{-\frac{1}{2}}|\Sigma|^{-\frac{1}{2}}exp{-\frac{1}{2}(x-\mu)’\Sigma^{-1}(x-\mu)}$$ 定义2：特征函数 结论 $$\varphi(t)=E(e^{it’x})=exp{it’\mu-\frac{1}{2}t’\Sigma t}$$ 定义3： 条件$$对任何非零向量a\in R^p\与向量x的线性组合a’x服从一元正太分布N(a’\mu,a’\Sigma a)\$$ 结论$$x服从p员正太分布N_p(\mu,\Sigma)$$ 2 多元正太分布的性质性质1：均值方差 条件$$x\sim N_p(\mu,\Sigma)$$ 结论$$E(x)=\mu,Var(x)=\Sigma$$ 性质2：线性变换 条件$$y...

多元正太分布的参数估计多元正态分布定义：密度函数$$X_{n\times p}=(x_1,\cdots,x_n)’\p(X;\mu,\Sigma)= \prod_{i=1}^np(x_i;\mu,\Sigma)$$ 引理：函数极值$$当A=nI_m时\函数f(A)=|A|^{\frac{n}{2}}exp{-\frac{1}{2}tr(A)}取得最大值\f(A)=n^{\frac{mn}{2}}e^{-\frac{mn}{2}}$$ 定理1：参数估计$$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{i=1}^nx_i是\mu的极大似然估计\\hat{\Sigma}n=\frac{1}{n}S=\frac{1}{n}\sum{i=1}^n(x_i-\overline{x})(x_i-\overline{x})’是\Sigma的极大似然估计。$$ 性质1：估计量评优$$\h...

多元正太总体的假设检验1 协方差矩阵已知时均值向量的检验似然比检验 假设$$H_0:\mu=\mu_0,H_1:\mu\not ={\mu_0}$$ 似然比$$p(X;\mu)=(2\pi)^{-\frac{n}{2}}exp{-\frac{1}{2}tr{\Sigma^{-1}[S+n(\overline{x}-\mu)(\overline{x}-\mu)’]}}\\lambda(x)=\frac{sup_{\mu\in\Theta}{p(X;\mu)}}{sup_{\mu\in\Theta_0}{p(X;\mu)}}=exp{\frac{n}{2}(\overline{x}-\mu_0)’\Sigma^{-1}(\overline{x}-\mu_0)}\n(\overline{x}-\mu_0)’\Sigma^{-1}(\overline{x}-\mu_0)\sim \chi^2(p) 性质6作为检验统计量$$ 拒绝域 $$W={(x_1,...

距离判别 分类：数据集带标签聚类：无标签数据集 1 欧氏距离与马氏距离定义：距离判别 判别分析：根据样品的观察值判定归属。 距离判别原理：对距离进行规定，就近原则判定样品的归属。 定义：欧氏距离$$d(x,y)=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}\=\sqrt{(x-y)’(x-y)}$$ 缺点：指标的量纲不同，意义不同。距离会因各个指标单位的变化而改变 定义：马氏距离 声明$$p元总体G的均值\mu和协方差矩阵\Sigma(\Sigma>0)\x,y是取自G的两个样本$$ 结论$$马氏距离d(x,y)=\sqrt{(x-y)’\Sigma^{-1}(x-y)}$$ 马氏距离与欧氏距离只相差一个协方差矩阵。具体原理的理解放到第二轮复习当中。 性质 非负性：$d(x,y)\geq 0,当且仅当x=y时，d(x,y)=0$ 自反性：$d(x,y)=d(y,x)$ 三角不等式：对任意的$x,y,z$，有$d(x,z)\leqd(x,y)+d(y,z)$ 特点 当$\Si...

Bayes判别1 错判风险ECM最小准则定义：Bayes判别规则 条件$$m个正太总体G_1,\cdots,G_m;\密度函数f_1(x),\cdots,f_m(x)\m个个体各自发生的先验概率q_1,\cdots,q_m\错判损失C(j|i),错判矩阵C(R)\错判概率P(j|i,R)=\int_{R_j}f_i(x)d(x)\总平均错判损失:ECM(R)=\sum_{i=1}^mq_i\sum_{j=1}^mC(j|i)P(j|i,R)$$ 结论$$ECM(R^*)=min_R{EMC(R)}$$错判损失最小的划分方法称为bayes判别。 2 两个总体的bayes判别定理1：损失最小判别 声明$$总体G_1,G_2\密度函数f_1(x),f_2(x)\先验概率q_1,q_2\错判损失C(2|1)和C(1|2)$$ 结论 使得EMC(R)达到最小的判别区域$R^=(R_1^,R_2^)$$$R_1^={x:q_1C(2|1)f_1(x)\geq q_2C(1|2)f_2(x)}\R_2^*={x...

Fisher判别1 原理概念Fisher 利用投影，将n为的向量特征投射到一维或者其他几个维度。借助方差分析的思想导出判别函数。 定义：Fisher投影 条件$$m个正太总体G_1,\cdots,G_m\均值\mu_1,\cdots,\mu_m\协方差阵\Sigma_1,\cdots,\Sigma_m\$$ 结论$$线性变换y=a’x\m个1维总体G_1^,\cdots,G_m^\均值a’\mu_1,\cdots,a’\mu_m\协方差阵a’\Sigma_1a,\cdots,a’\Sigma_ma\$$ 定义：方差分析 条件 $$组间方差，各个向量之间的方差B_0=\sum_{i=1}^m(a’\mu_i-a’\overline{\mu})^2=a’Ba\组内方差，向量各维度间的方差E_0=\sum_{i=1}^ma’\Sigma_ia=a’Ea\\overline{\mu}=\frac{1}{m}\sum_{i=1}^m\mu_i\B=\sum_{i=1}^m(\m...

主成分分析1 总体主成分分析概述多元统计分析，解释多元变量的各项指标之间的相关关系。对多元总体，协方差矩阵和相关矩阵是反映各个指标之间相关程度的统计特征。 主成分分析是一种通过将为方法把多像相关指标化为少数几个不相关的综合指标的多元数据处理技术。 数学模型 描述了压缩的目的，和基本的方法。 总体特征$$p元总体x=(x_1,\cdots,x_n)’\E(x)=\mu,Var(x)=\Sigma=(\sigma_{ij})\$$ 维度压缩 压缩为一维$$y_1=\mu’x\var(y_1)=\mu’\Sigma\mu$$ 标准化 $$\mu’\mu=1的条件下，选择合适的\mu使Var(y_1)=\mu’\Sigma\mu 最大$$ 定理1 给出了上述数学模型的一个解的定理 条件 $$协方差矩阵\Sigma,特征值\lambda_1,\cdots,\lambda_p\geq 0\单位正交向量a_1,\cdots,a_p\$$ 结论$$在\mu’\mu=1的条件下,\mu’...

主要内容1 课程安排2 考核标准 完全由考试决定成绩 3 主要内容 基础知识 概率论复习 基本概念 抽样分布 参数估计 假设检验 回归分析 方差分析与正交试验设计 多元正太总体统计推断 判别分析 相关分析 4 结构说明所以到底要做成一个什么样的笔记。 分类具体条目包括以下六类定义： 对于复杂的定义可以拆分为一下部分 声明 条件 结论 公式：性质：与公式相似，但更琐碎。一般分条罗列。 定理： 对于复杂的公式可以拆分为一下部分 声明 条件 结论 理解：题型：我觉得只需要这三部分就可以了。应该在每一节后边再加上题型分析 5 复习安排 第一遍复习完善基本理论的笔记。 第二遍复习看例题和课后题，完善题型部分的笔记。