type
Post
status
Published
date
May 26, 2026
slug
summary
tags
category
Agent相关分享
password
线性回归
在简单线性回归 y=ax+by=ax+b 中：
- aa（权重 / 斜率）：表示 xx 每变化一个单位时，yy 平均变化的量。它反映了输入特征对输出的影响程度和方向（正相关或负相关）。
- bb（截距 / 偏置）：表示当 x=0x=0 时，yy 的预测值。它允许直线在坐标系中上下平移，使模型不强制过原点，从而更好地拟合数据。
线性回归的原理
线性回归的核心思想是：找到一条直线（或超平面），使得所有样本点到该直线的垂直距离（即残差）的平方和最小。这个方法称为最小二乘法。
数学上，对于训练数据 (xi,yi)(xiyi)，我们定义损失函数（均方误差）：
目标是找到使 LL 最小的 aa 和 bb。
通过求偏导并令其为零，可以解析求解：
其中 xˉ,yˉxˉ,yˉ 分别为 x,yxy 的均值。
直观理解
- 权重 aa 决定了直线的倾斜程度。如果数据呈现上升趋势，a>0a>0；下降趋势则 a<0a<0；无线性关系时 aa 接近 0。
- 偏置 bb 使得模型可以拟合均值不为零的数据。例如，身高-体重模型中，体重不可能在身高为 0 时为零，因此需要 bb 来调整。
为什么需要 bb？
如果没有 bb（即强制直线过原点 y=axy=ax），模型会失去平移自由度，通常导致更大的预测误差，除非数据真实关系确实过原点。因此，偏置项是线性回归不可或缺的部分。
在 sklearn 的
LinearRegression 中，model.coef_ 对应 aa，model.intercept_ 对应 bb。训练过程就是通过最小二乘法自动求解最优的 aa 和 bb。代码案例
损失函数到底是什么？
在回归任务中（预测连续数值，比如房价），模型会给出一个预测值（$\hat{y}$），而现实中我们有一个真实值/标准答案（$y$）。
损失函数，就是用来计算“预测值”和“真实值”之间误差大小的数学公式。 * 误差越大，损失函数算出来的数值（Loss值）就越大，说明模型现在“很笨”。
• 误差越小，Loss值就越小，说明模型越来越“聪明”。
整个机器学习训练的核心目标，用一句话概括就是：不断调整模型的内部参数，努力把损失函数的值降到最低（趋近于0）。 这个过程在数学上叫做“优化（Optimization）”。
- Author:Ashland
- URL:http://preview.tangly1024.com/article/36ccccc0-3782-8077-b1b0-f1a4ec62e807
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
