第十二章 回归与相关

两个定距变量之间的关系

• 定距变量的核心特点：

  1. 数据分布的全距大（取值范围广）；

  2. 变量的取值多（离散值数量多）。

• 列联表的局限性：

  若用列联表描述定距变量关系，会产生分布极其分散的巨型表格，无法体现变量间的关系特征，因此不适宜使用。

• 适宜的描述方法：

  1. 形象描述：用散点图直观呈现变量相关状况；

  2. 概括描述：用相关系数量化相关强度；

  3. 因果描述：若变量存在因果关系，用回归方程描述因变量随自变量的变化规律。

一、相关的概念

• 定义：两个定距变量之间的相关关系，是指变量在变化过程中数量上的依存关系——当一个变量变化时，另一个变量会出现相应变化。

• 相关的三种类型：

  1. 正相关：一个变量变大时，另一个变量随之变大；或一个变量变小时，另一个变量随之变小。

     eg. 身高与体重、数学成绩与物理成绩

  2. 负相关：一个变量变大时，另一个变量随之变小；或一个变量变小时，另一个变量随之变大。

     eg. 如商品价格与销量、工作时长与效率的合理区间

  3. 无相关：两个变量的变化无上述依存性，取值变化互不影响。

     eg. 如身高与考试成绩、气温与股票价格

二、相关散点图

（一）散点图含义

设两个定距变量为（自变量）和（因变量），以为横坐标、为纵坐标，根据每个个案的和取值在坐标系中确定一个点，众多个案形成的点状分布图形即为散点图。

（二）散点图作用

通过散点的分布状态，可直观判断变量之间的相关性方向（正/负相关）和相关强度（强/弱相关）。

三、Pearson（皮尔逊）相关系数

（一）协方差与相关系数

1. 核心逻辑推导：
   • 若与呈正相关，大部分散点集中在右上、左下区域，为正值且绝对值较大；
   • 若与呈负相关，大部分散点集中在左上、右下区域，为负值且绝对值较大；
   • 若与无相关，散点均匀分布在四个区域，趋近于0。
   • 故可构建协方差用于测量两个变量的相关

2. 标准化处理：协方差受变量单位影响，将其标准化后得到皮尔逊相关系数 ，公式为：

三、Pearson（皮尔逊）相关系数

（二）计算示例1：学生数学成绩与物理成绩的皮尔逊相关系数

三、Pearson（皮尔逊）相关系数

（二）计算示例1：步骤解析

1. 均值
   

2. 核心求和项

• 交叉积：
• 的离差平方和：
• 的离差平方和：

1. 相关系数

（二）计算示例2：家庭月收入与住房面积的皮尔逊相关系数

（二）计算示例2：步骤解析

6. 代入简化公式计算相关系数

一、回归分析的统计思想

• 相关分析的局限性：

  仅能说明变量是否相关、相关强度如何，无法揭示变量间的因果关系及变化规律。

• 变量关系的两种类型：

  1. 确定性关系：一一对应的函数关系（如），给定自变量可精确计算因变量。

  2. 非确定性关系：一种数量上的依存关系。变量相关但非一一对应（如身高与体重、收入与消费），需通过统计方法拟合规律。

• 回归分析的核心逻辑：

  对变量的一组观察值拟合一个函数，将非确定性关系转化为“函数关系+误差”的形式。若能明确误差大小，即可用确定性方法研究非确定性变量关系——这是回归分析的基本出发点。

• 拟合函数的选择：根据变量间关系特征确定（如线性关系拟合直线，非线性关系拟合曲线）。

二、线性回归

（一）线性回归方程的建立

4. 系数求解：通过求偏导数令误差平方和最小，推导得到和的计算公式：

• 回归系数 ：

• 截距 ：

5. 示例：家庭月收入与住房面积的回归方程：基于示例2的数据（，），计算得：

最终回归方程为：，含义即为：月收入每增加1000元（增加1），住房面积平均增加11.65平方米。

二、线性回归

（二）线性回归方程的拟合优度

2. 拟合优度的计算：根据 消减误差比例（PRE） 的思想计算

• 当其他条件未知时，一般用变量 的均值 来猜测每个个案的值，此时产生的总误差为

• 若利用回归方程来猜测 值，产生的总误差为

• 与利用 进行猜测相比，消减的误差为

• 因此，消减误差比例为

此即判定系数

二、线性回归

（二）线性回归方程的拟合优度

3. 判定系数：

• PRE公式化简后可得：

• 可见，是皮尔逊相关系数的平方，即。

• 其值说明回归方程能够减少猜测误差的百分比，或是自变量能够解释因变量变化的百分比。

• 解读：取值范围为，越接近1，拟合效果越好。

  （如表示自变量解释因变量97.8%的变化）。

一、线性回归分析的假定

1. 目标：条件期望函数 (CEF)

   在总体数据中，条件期望函数 (CEF) 描述了给定自变量 时，因变量 的平均水平，它是 对 的最优预测函数（从均方误差最小的角度）。它是我们想要了解的真实关系。

2. 模型选择：线性近似

   由于 CEF 可能极其复杂，我们通常会寻求其最优线性近似——线性条件期望函数（即总体回归函数 PRF：，其中 为随机误差项）。选择线性模型的关键优势在于简单易解释（斜率 可直接表示 每变动1单位时 的平均变动量），且具备成熟的估计与推断方法。

3. 方法：OLS

   线性回归的核心操作，就是通过 普通最小二乘法（OLS） 估计总体回归函数中的未知参数：截距 和斜率 。OLS的基本思想是最小化样本中所有观测点的实际 值与拟合 值的残差平方和，最终得到样本回归函数（SRF：，其中 、 是 、 的估计值）。

一、线性回归分析的假定

4. 样本与总体的差距：抽样误差的影响

   由于抽样误差，从不同的样本中求得的样本回归函数（即估计量）各不相同。我们希望这个样本回归函数能最好地代表总体回归函数。

5. 评价标准：优良性质

   因此，我们对估计量提出要求：无偏性（平均而言，估计值等于总体真值）、有效性（在无偏估计中方差最小）、和一致性（随着样本量增大，估计值趋近于总体真值）。

6. 经典假定 (CLRM)

   只有在总体数据符合经典线性回归假定（包括线性关系、零条件均值假定 、同方差性、无自相关，以及独立同分布等）时，通过 OLS 求得的样本回归函数，才会在统计上具有这些优良性质（特别是高斯-马尔可夫定理保证了其在满足部分假定时具有最小方差线性无偏估计量，即 BLUE）。

一、一元线性回归分析的假定条件

（二）随机误差项的假定

随机误差项的四个核心假定（简称“高斯-马尔可夫假定”）：

1. 独立性假定：的取值相互独立，即与（）无关，记作，反映的取值独立。

2. 零均值假定：，即给定时，误差项的平均值为0，确保的均值恰好落在回归直线上。

3. 同方差假定：（为常数），即不同对应的分布方差相同。

4. 正态性假定：服从正态分布。

• 以上四点可以集中表示为：，即误差项服从均值为0、方差为的正态分布。

• 高斯-马尔可夫定理——若满足上述线性性、零条件均值、同方差性、无自相关和无多重共线性等假定，OLS估计量就是最优线性无偏估计量（BLUE），即“在所有线性无偏估计量中，OLS估计量的方差最小”。

二、一元线性回归方程的检验

• 目标是追寻真实CEF → 用线性PRF近似 → 用OLS估计得到SRF → OLS优良性依赖CLRM假定 → 但我们无法直接观测总体，只能通过样本推断。

• 由此产生三个核心疑问：① 我们估计的SRF（）真的能较好拟合样本数据、反映X与Y的关系吗？② 估计出的参数（）真的显著不为0（即X对Y真的有影响）吗？③ 我们依赖的CLRM假定，在样本数据中真的成立吗？

• 这三个疑问，正是线性回归检验需要解决的核心问题——检验的本质是“通过样本信息，对总体的真实情况（模型拟合度、参数显著性、假定有效性）进行统计推断”。

• 我们接下来主要关心，第二个问题：估计出的参数（）真的显著不为0吗？

二、一元线性回归方程的检验：整体检验

（一）统计思想

• 问题核心：样本拟合的回归直线是否能推论到总体？需判断总体中与是否真的存在线性关系（而非抽样误差导致的虚假关系）。

• 逻辑推导：

  1. 若总体中与无相关（），则（常数），散点均匀分布在均值线附近；

  2. 抽样误差可能导致样本数据呈现虚假线性关系，拟合出回归直线，但这种直线的偏离程度通常不会太大；

  3. 若样本回归直线的偏离程度足够大（超过抽样误差的合理范围），则拒绝“总体无线性关系”的原假设，认为回归方程具有推论价值。

二、一元线性回归方程的检验：整体检验

二、一元线性回归方程的检验：整体检验

二、一元线性回归方程的检验：整体检验

（二）离差平方和分解

二、一元线性回归方程的检验：整体检验

（二）离差平方和分解

1. 总离差平方和（TSS）：反映观察值围绕均值的总离散程度，即：

2. 回归离差平方和（RSSR）：反映回归预测值围绕均值的离散程度，即自变量解释的误差：

3. 剩余离差平方和（RSS）：反映观察值围绕回归直线的离散程度，即未被解释的误差：

4. 分解关系：
   解读：RSSR越大、RSS越小，说明回归直线的解释能力越强，越可能拒绝原假设。

二、一元线性回归方程的检验：整体检验

（三）检验方法（F检验）

1. 原假设与备择假设：

2. 检验统计量F：

   • 分子自由度：1（回归系数个数）；分母自由度：（样本量减去待估参数个数、）。

3. 临界值与拒绝域：
   给定显著性水平（如），查F分布表得临界值，拒绝域为。

4. 决策规则：
   若，拒绝，认为回归方程在总体中显著；否则接受，认为无足够证据表明线性关系存在。

二、一元线性回归方程的检验：整体检验

（三）检验示例

题目：基于11个家庭月收入（）与住房面积（）的回归方程，检验方程在总体中是否显著（）。

1. 已知条件：，，；
2. 计算F统计量：

3. 确定临界值：
   查F分布表得；
4. 决策与结论：
   因，拒绝，认为总体中家庭月收入与住房面积的线性关系显著，回归方程具有推论价值。

二、一元线性回归方程的检验：回归系数的检验

回归系数检验（t检验）的核心是判断样本回归系数是否显著异于0——若显著不为0，说明自变量对因变量的线性影响真实存在；若接近0，则说明对无显著线性影响。

（一）检验方法

1. 原假设与备择假设：

2. 检验统计量t：

• ：剩余标准差；：回归系数的标准误。

3. 拒绝域与决策：
   给定查表得，拒绝域为；若落在拒绝域，拒绝，认为回归系数显著。

二、一元线性回归方程的检验：回归系数的检验

（二）检验示例

题目：基于11个家庭月收入与住房面积的回归方程，检验回归系数在总体中是否显著（）。

1. 已知条件：，，，；
2. 计算标准误：

3. 计算t统计量：

4. 确定临界值与决策：查t分布表得，因，拒绝，认为总体回归系数显著不为0，月收入对住房面积的线性影响显著。

三、用回归方程进行预测

（一）点估计

1. 方法：将已知的自变量取值代入回归方程，计算得到；

2. 本质：是总体中时，所有的平均值的点估计值（而非单个的精确值）；

3. 示例：基于家庭月收入与住房面积回归方程，预测月收入千元时住房面积：

含义：月收入为5千元的家庭，平均住房面积的点估计值为77.45平方米。

三、用回归方程进行预测

（二）区间估计

1. 必要性：点估计无误差范围，区间估计可给出的合理取值区间，提高预测的可靠性。
2. 分布基础：因，故时，，标准化后服从标准正态分布。
3. 置信区间公式：
   给定置信度，的置信区间为：

• ：剩余标准差；：t分布临界值。

4. 区间特征：
   越接近，置信区间越窄（预测精度越高）；偏离越远，置信区间越宽（预测精度越低），区间上下限呈喇叭状分布。

一、相关系数检验的统计思想

1. 检验原因：

   样本相关系数可能由抽样误差导致（即使总体相关系数，样本也可能出现非零），需通过检验判断总体中变量是否真的相关。

2. 检验目的：

   确定样本相关系数达到多大时，可认为总体相关系数（相关关系显著存在）。

3. 检验思路：

   假设总体无相关（），计算样本 出现的概率；若概率极小（小于），拒绝，认为总体相关显著。

二、相关系数检验的方法（t检验）

1. 原假设与备择假设：

2. 检验统计量t：

3. 拒绝域与决策：

   给定，查t分布表得，若，拒绝，认为总体相关系数显著不为0。

三、相关系数检验的示例

题目：检验10名学生数学与物理成绩的相关系数在总体中是否显著（）。

1. 已知条件：，；

2. 计算t统计量：

3. 确定临界值：

   查t分布表得；

4. 决策与结论：

   因，拒绝，认为总体中数学成绩与物理成绩的相关系数显著不为0，相关关系真实存在。

四、相关系数检验与回归方程检验的关系

1. 等价性：两种检验本质一致，若相关系数检验显著（），则回归方程检验必显著（），反之亦然。

2. 公式推导关系：

可见，同一组数据的F值与t值相互对应，检验结论完全一致。

3. 应用场景差异：

   • 相关系数检验：侧重判断变量间相关关系是否显著；

   • 回归方程检验：侧重判断线性回归模型整体是否具有推论价值。