admin 管理员组文章数量: 1086019
2024年4月16日发(作者：全国嵌入式大赛)
参数贝塔的最小二乘估计公式的
解释
最近在学习ML(Machine Learning)，注意到了一个有趣的东
西：Least Squares Estimator。
先从简单说起吧。看下面的式子：
[ y = ax + e ]
这是一个非常简单的直线方程。如果赋予y、a、x、b具体的
意义，这个式子就有意思了：
1.
假设x是一个统计变量（预先就知道的），譬如，x代表
人的年龄。
y是关于x的一个label量（预先就知道的），譬
如，y代表的是年龄为x时的人的智商。
y和x存在线性关系，那么可以有 y = ax。这个式
子表明年龄为x时，智商为ax。
x、y的取值只有一对时，a = y/x，但当x、y不只一
对时，y = ax可能会无解（因为求解的是方程组
( y_{i} = ax_{i} ) 了）
把方程组扩展成 ( y_{i} = ax_{i} + e_{i} ) 。
2.
假设
1.
假设
2.
当
3.
为了使方程组 ( y_{i} = ax_{i} ) 可以求解，需要
4.
( y_{i} = ax_{i} + e_{i} )使得我们有机会求出a，
但同时也产生了很多个( e_{i} )。每对
己的error系数的话，这个a的意义就减弱了。
5.
为了使得a变得更有意义，我们希望每个error系数尽
可能地小（无限逼近0最好了），同时又能求出唯一的
a。
x有关系，还
和其他参数有关系，那么可以再把公式扩展成:
6.
又因为现实生活中，智商肯定不只跟年龄
[ y_{i} = a_{1}x_{i1} + a_{2}x_{i2} + cdots +
a_{k}x_{ik} + e_{i} , 1le ile n, kge 1 ]
现在，把上式写成矩阵形式：
[ vec y = Xvec a + vec e ]
[ left[ begin{matrix} y_{1} y_{2} vdots
y_{n} end{matrix} right] = left[ begin{matrix}
x_{11}& x_{12}& cdots & x_{1k} x_{21}& x_{22}&
cdots & x_{2k} vdots & vdots & ddots & vdots
x_{n1}& x_{n2}& cdots & x_{nk} end{matrix} right]
left[ begin{matrix} a_{1} a_{2} vdots
a_{k} end{matrix} right] + left[ begin{matrix}
e_{1} e_{2} vdots e_{n} end{matrix} right]
]
再回到上面的第7点：为了使得(vec a)变得更有意义，我
们希望(vec e)的每个分量尽可能地小。明确这一点非常重
要。
那么，这个目标完成情况应该如何衡量？其实很简单，既然
(vec e)是一个向量（n维空间），那么(vec e)的长度
就是我们需要的指标：
[ |vec e| = sqrt { sum ^{n}_{i=1}e_{i}^{2} } ]
开根号是不必要的，我们可以换成下面这个指标：
版权声明：本文标题：参数贝塔的最小二乘估计公式的解释 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/p/1713206055a623858.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论