1886年：弗朗西斯·高尔顿
英国统计学家弗朗西斯·高尔顿（Francis Galton）在研究父母与子女身高的关系时，首次提出了“回归”（Regression）的概念，发现了“回归到均值”的现象。
掌握统计学核心工具，精准预测变量关系，从理解y关于x的经验回归方程开始。
在统计学中，当我们研究两个变量之间的关系时，如果通过散点图观察发现它们大致呈线性趋势，但数据点并未完全落在一条直线上，我们就需要使用y关于x的经验回归方程来描述这种关系。这个方程通常表示为：
其中：
“经验”二字意味着该方程是基于样本数据计算得出的最佳拟合直线，它尽可能减少了实际观测值与预测值之间的误差。理解y关于x的经验回归方程公式是进行数据分析和预测的基础。
求解回归方程的关键在于确定系数 a 和 b。最常用的方法是最小二乘法（Least Squares Method）。其基本思想是使所有数据点到直线的纵向距离的平方和最小。
其中：
分子是“xy的偏差乘积之和”，分母是“x的偏差平方之和”。可以理解为：y随x变化的“敏感度”。
不要混淆分子和分母！分子涉及y，分母只涉及x。如果算出b为负数，说明是负相关。
为了帮助大家彻底掌握y关于x的经验回归方程公式，我们来看一个具体的例子。
题目：某商品的价格（x，单位：元）与销量（y，单位：件）的观测数据如下，请建立回归方程。
| 编号 | 价格 x | 销量 y | (x - x̄) | (y - ȳ) | (x - x̄)(y - ȳ) | (x - x̄)² |
|---|---|---|---|---|---|---|
| 1 | 10 | 90 | -2 | 5 | -10 | 4 |
| 2 | 12 | 84 | 0 | -1 | 0 | 0 |
| 3 | 14 | 80 | 2 | -5 | -10 | 4 |
| 4 | 16 | 76 | 4 | -9 | -36 | 16 |
| 5 | 18 | 70 | 6 | -15 | -90 | 36 |
| 合计/均值 | x̄=14, ȳ=80 | 0 | 0 | Σ=-146 | Σ=60 | |
最终方程：
无论数据如何分布，y关于x的经验回归方程所确定的直线一定经过样本中心点 (x̄, ȳ)。这是一个非常重要的性质，常用于检验计算结果是否正确。
为了衡量线性相关的强弱，我们需要计算相关系数 r：
r 的性质：
残差 e_i = y_i - ŷ_i。残差图是判断模型拟合效果的重要工具。如果残差点均匀分布在水平带状区域内，说明选用的模型比较合适。
例如：身高与体重。一般来说，身高越高，体重越重。此时 b > 0, r > 0。散点图呈从左下到右上的趋势。
例如：车速与刹车距离（在相同反应时间内，速度越快，距离越长... 等等，这个例子不好）。更好的例子是：产品单价与需求量。价格越高，需求越少。此时 b < 0, r < 0。
例如：人的年龄与智商。在一定范围内，智商不随年龄线性变化。此时 r ≈ 0，不适合用线性回归方程描述。
英国统计学家弗朗西斯·高尔顿（Francis Galton）在研究父母与子女身高的关系时，首次提出了“回归”（Regression）的概念，发现了“回归到均值”的现象。
高斯和勒让德独立发现了最小二乘法，并将其应用于天文学和大地测量学中的数据拟合，为现代回归分析奠定了数学基础。
随着费希尔（R.A. Fisher）等人对方差分析（ANOVA）和显著性检验的研究，回归分析成为统计学中不可或缺的工具，广泛应用于经济学、生物学和社会科学。
在大数据时代，回归分析演化为更复杂的模型，如岭回归、Lasso回归等，成为机器学习中线性模型的核心组成部分。
A: 一定过样本中心点 (x̄, ȳ)。这是回归直线的基本性质，也是验证计算结果是否正确的快速方法。
A: 它们的符号总是相同的。如果 b > 0，则 r > 0（正相关）；如果 b < 0，则 r < 0（负相关）。
A: 不可以。只有在两个变量存在显著线性相关关系（通常 |r| > 0.75 或经过显著性检验）时，建立回归方程才有意义。否则，预测结果将不可靠。
A: 主要看两个指标：1. 相关系数 r 的绝对值是否接近 1；2. 残差平方和是否较小；3. 决定系数 R² 是否接近 1。此外，残差图应无明显规律。
A: 会变。y关于x的回归方程和x关于y的回归方程通常是不同的直线，除非所有点完全共线。因为最小二乘法分别最小化了y方向的误差和x方向的误差。