线性回归的显著性检验

Prepared on 22 November 2020

线性回归的显著性检验

线性回归的显着性检验

1.回归方程的显着性

在实际问题的研究中，我们事先并不能断定随机变量y与变量x1,x2,,xp之间确有线性关系，在进行回归参数的估计之前，我们用多元线性回归方程去拟合随机变量y与变量x1,x2,,xp之间的关系，只是根据一些定性分析所作的一种假设。因此，和一元线性回归方程的显着性检验类似，在求出线性回归方程后，还需对回归方程进行显着性检验。

设随机变量Y与多个普通变量x1,x2,,xp的线性回归模型为

Yb0b1x1bpxp

其中服从正态分布N(0,2)

对多元线性回归方程的显着性检验就是看自变量若接受x1,x2,,xp从整体上对随机变量y是否有明显的影响。为此提出原假设

H0:b10,b20,,bp0

如果H0被接受，则表明随机变量y与x1,x2,,xp的线性回归模型就没有意义。通过总离差平方和分解方法，可以构造对H0进行检验的统计量。正态随机变量

y1,y2,,yn的偏差平方和可以分解为：

(yi1n2niˆiyˆiy)(yˆiy)(yiyˆi)2 y)(yiy222i1i1i1nnnnˆiy)2为回归平方和，ST(yiy)为总的偏差平方和，SR(yi1ni1ˆi)2为残差平方和。因此，平方和分解式可以简写为： SE(yiyi1STSRSE

回归平方和与残差平方和分别反映了b0所引起的差异和随机误差的影响。构造F检验统计量则利用分解定理得到：

FQRp

QE(np1)在正态假设下，当原假设H0:b10,b20,,bp0成立时，F服从自由度为

(p,np1)的F分布。对于给定的显着水平，当F大于临界值(p,np1)时，拒绝H0，说明回归方程显着，x与y有显着的线性关系。

实际应用中，我们还可以用复相关系数来检验回归方程的显着性。复相关系数R定义为：

RSR ST平方和分解式可以知道，复相关系数的取值范围为0R1。R越接近1表明

SE越小，回归方程拟合越好。

2.回归系数的显着性

若方程通过显着性检验，仅说明b0,b1,b2,bp不全为零，并不意味着每个自变量对y的影响都显着，所以就需要我们对每个自变量进行显着性检验。若某个系数bj0，则xj对y影响不显着，因此我们总想从回归方程中剔除这些次要的，无关的变量。检验xi是否显着，等于假设

H0j:bj0,j1,2,,p

ˆ~N[B,2(XX)1]，记(X已知BX)1（cij）i,j0,1,2,,p,可知

ˆ~N[b,c2],j0,1,2,p,据此可构造t统计量 bjjijtjˆbjcjj

其中回归标准差为

nn112ˆi)2 ei(yiynp1i1np1i1当原假设H0j:bj0成立时，则tj统计量服从自由度为np1的t分布，给定显着性水平，当tjt2时拒绝原假设H0j:bj0，认为xj对y影响显着,当

tjt2时，接受原假设H0j:bj0，认为xj对y影响不显着。