第10节 Minimax估计和Bayes估计
Minimax估计和Bayes估计
1 一致占优
定义1：损失定义
损失，是一种距离。
$$
L(\theta,T(x))=(T(x)-\theta)^2
$$
损失函数，这只是鬼畜了风险函数的一种
定义2：风险函数
风险，平均损失
$$
R(\theta,T)=E_XL(\theta,T(x))=E_X(T(x)-\theta)^2
$$
均方误差是损失函数的期望，也是一种风险
定义3：一致占优
$$
R(\theta,T_1)\leq R(\theta,T_2),\forall \theta
$$
2 Minimax估计
定义1：Minimax
$$
\sup_\theta R(\theta,T_1)\leq \sup_\theta(\theta,T_2)
$$
先找到最大风险，再找到最大风险最小的策略
3 定义2：Bayes估计
把参数\theta当成随机变量处理
$$
E_\theta(R(\theta,T_1))\leq E_\theta(R(\theta,T_2))
$$
$E_theta$与$E_X$不同，在bayes理论中，条件期望
$$
E_X(L(\theta,T(X)))=\sum L(theta,T(X))p(x|\theta)dx
$$
先验概率 后验概率
h(\theta|x)=p(x|\theta)\pi(\theta)
- 假设
$$
L(\theta,T(X))=(T(X)-q(\theta))
$$ - 结论
$$
$$
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Estom的博客！
相关推荐
2020-10-13
5_Gradient Descent
Gradient DescentReview前面预测宝可梦cp值的例子里，已经初步介绍了Gradient Descent的用法： In step 3, we have to solve the following optimization problem: $\theta^{*}=\arg \underset{\theta}{\min} L(\theta) \quad$ L : loss function$\theta:$ parameters(上标表示第几组参数，下标表示这组参数中的第几个参数) 假设$\theta$是参数的集合：Suppose that $\theta$ has two variables $\left{\theta_{1}, \theta_{2}\right}$ 随机选取一组起始的参数：Randomly start at $\theta^{0}=\left[\begin{array}{l}{\theta_{1}^{0}} \ {\theta_{2}^{0}}\end{array}\right] ...
2021-09-02
10-函数+
10 函数10.1 函数的定义10.1.1 函数的定义12345678910111213141516171819// 有参数有返回值的func sum(x int, y int) (ret int) { return x + y}// 有参数但无返回值func f1(x int, y int) { fmt.Println(x + y)}// 无参数无返回值func f2() { fmt.Println("f2")}//无参有返回值func f3() int { return 3} 10.1.2 返回值10.1.2.1 为返回值命名可以为返回值指定一个名字，这就相当于提前声明了一个变量，并将该变量作为返回值。 1234567891011121314151617/* 声明函数时为返回值指定了名称为 ret, 在函数内部可以直接使用 ret,* 并且函数体最后只写 return 即可，其他不需要添加 ret.*/func sum(x int, y int) (ret int) ...
2021-03-20
plot_ridge_path
岭系数对回归系数的影响 翻译者:@Loopy校验者:@barrycg 本实例展示了回归模型系数间的共线性。 岭回归 是本例中使用的预测模型。每种颜色都分别表示不同特征下的回归系数向量，岭系数alpha是正则化项的参数。下图表示了岭系数作为变量参数,回归系数在岭回归模型中的变化。 这个示例还显示了将岭回归应用于高病态矩阵的有效性。在高病态矩阵中，一些变量的微小变化会导致计算权重(回归系数)的巨大差异。在这种情况下，设置一个确定的正则化项(alpha)可以减少这种不良差异(噪声)。 当alpha很大时，正则化项是平方损失函数的主要影响因子，回归系数的影响趋于零。在路径的末端，当alpha趋近零时,损失函数会慢慢变成普通最小二乘，回归系数表现出较大的波动。在实践中，有必要对alpha进行调优，以便在两者之间保持平衡。 123import numpy as npimport matplotlib.pyplot as pltfrom sklearn import linear_model 123# X 是10x10的希尔伯特矩阵X = 1. / (np.arange(1, 11) +...
2021-03-20
12
1.11. 集成方法校验者: @Dream on dreamer. @zehuichen123 @JanzenLiu @小瑶 @\S^R^Y/ @Loopy @qinhanmin2014翻译者: @StupidStalker @文谊 @t9UhoI 注意:在本文中 bagging 和 boosting 为了更好的保留原文意图，不进行翻译estimator:估计器 base estimator:基估计器 集成方法 的目标是把多个使用给定学习算法构建的基估计器的预测结果结合起来，从而获得比单个估计器更好的泛化能力/鲁棒性。 集成方法通常分为两种: 平均方法，该方法的原理是构建多个独立的估计器，然后取它们的预测结果的平均。一般来说组合之后的估计器是会比单个估计器要好的，因为它的方差减小了。 示例: Bagging 方法 , 随机森林 , … 相比之下，在 boosting 方法 中，基估计器是依次构建的，并且每一个基估...
2021-03-20
8
1.7. 高斯过程校验者: @glassy @Trembleguy @Loopy翻译者: @AI追寻者 高斯过程 (GP) 是一种常用的监督学习方法，旨在解决回归问题和概率分类问题。 高斯过程模型的优点如下： 预测内插了观察结果（至少对于正则核）。 预测结果是概率形式的（高斯形式的）。这样的话，人们可以计算得到经验置信区间并且据此来判断是否需要修改（在线拟合，自适应）在一些区域的预测值。 通用性: 可以指定不同的:内核(kernels)。虽然该函数提供了常用的内核，但是也可以指定自定义内核。 高斯过程模型的缺点包括： 它们不稀疏，例如，模型通常使用整个样本/特征信息来进行预测。 高维空间模型会失效，高维也就是指特征的数量超过几十个。 1.7.1. 高斯过程回归（GPR）GaussianProcessRegressor 类实现了回归情况下的高斯过程(GP)模型。 为此，需要实现指定GP的先验。当参数 normalize_y=False 时，先验的均值 通常假定为常数或者零; 当 normalize_y=Tru...
2022-04-18
07 函数
函数是这样的一段 JavaScript 代码，它只定义一次，但可能被执行或调用多次。 简单来说，函数就是一组可重用的代码，你可以在你程序的任何地方调用他。 例如下述代码: 123function fn(){ console.log("this is function");} 函数定义定义函数有两种方式: 函数声明方式: 123function fn(){ console.log("this is function");} 字面量方式: 123var fun = fnction(){ console.log("this is function");} 函数调用定义一个函数并不会自动的执行它。定义了函数仅仅是赋予函数以名称并明确函数被调用时该做些什么。调用函数才会真正执行这些动作。 定义一个函数fn: 123function fn(){ console.log("this is function");} ...
