基本

---

モデル

$p$ 個の説明変数からなるデータセット $i=1,2,\dots ,n$ に対し、

$$y_i={\beta }_0+\sum _{i=1}^p{\beta }_i{x}_{i,p}+{ϵ}_i,{ϵ}_i\sim N(0,{\sigma }^2)$$

予測値は、

$${\hat{y}}_i={\hat{\beta }}_0+\sum _{i=1}^p{\hat{\beta }}_i{x}_{i,p}$$

ベクトルと行列による表現

$n$ 次元ベクトル $\mathbf{y}$、$(n,p+1)$ 行列 $X$、$(p+1)$ 次元ベクトル $\mathbf{\beta }$ と $n$ 次元誤差ベクトル $\mathbf{ϵ}$ を定義する：

$$\mathbf{y}:=(y_1,\dots ,y_n{)}^{\top },X:=\left(\begin{array}{cccc}1& x_{11}-\bar{x}& \cdots & x_{1p}-\bar{x}\\ 1& x_{21}-\bar{x}& \cdots & x_{2p}-\bar{x}\\ ⋮& ⋮& \ddots & ⋮\\ 1& x_{n1}-\bar{x}& \cdots & x_{np}-\bar{x}\end{array}\right)$$
$$\mathbf{\beta }:=({\alpha }_0,{\beta }_1,\dots ,{\beta }_p{)}^{\top },\mathbf{ϵ}:=({ϵ}_1,\dots ,{ϵ}_n{)}^{\top }$$

このとき、

$$\mathbf{y}=X\mathbf{\beta }+\mathbf{ϵ},\mathbf{ϵ}\sim N(0,{\sigma }^2{I}_n)$$

残差・残差平方和

残差：

$$e_i:=y_i-{\hat{y}}_i,\mathbf{e}:=\mathbf{y}-\hat{\mathbf{y}}$$

残差平方和：

$$S_e=\sum _{i=1}^n{e_i}^2={\mathbf{e}}^{\top }\mathbf{e}$$

最小二乗推定の条件（正規方程式）：
$$\frac{\partial S_e}{\partial {\hat{\beta }}_i}=0⟺X^{\top }X\hat{\mathbf{\beta }}=X^{\top }\mathbf{y}$$

平方和分解と自由度

回帰平方和：

$$S_R=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2,DF=p$$

残差平方和：

$$S_e=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2,DF=n-p-1$$

全平方和：

$$S_T=\sum _{i=1}^n(y_i-\bar{y}{)}^2,DF=n-1$$

平方和分解：

$$S_T=S_R+S_e,\sum _{i=1}^n(y_i-\bar{y}{)}^2=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

決定係数

決定係数：

$$R^2=\frac{S_R}{S_T}=1-\frac{S_e}{S_T}$$

自由度調整済み決定係数：

$${R_{\mathrm{ad}}}^2=1-\frac{S_e/(n-p-1)}{S_T/(n-1)}$$

回帰モデルの検討

---

F 値

$$\varphi =\frac{S_R/p}{S_e/(n-p-1)}\sim F(p,n-p-1)$$

標準化残差・t 値

標準化残差：
$$u_i=\frac{e_i}{\hat{\sigma }},{\hat{\sigma }}^2=\frac{S_e}{n-p-1}$$

t 値：
$$\tau =\frac{e_i}{\sqrt{(1-h_{ii})}\hat{\sigma }}\sim t(n-p-1)$$

レバレッジ・マハラノビス距離

レバレッジ：

$$h_{ii}=\frac{1}{n}+\frac{{D_i}^2}{n-1},\hat{\mathbf{y}}=(h_{ii})\mathbf{y}$$

マハラノビス距離（2乗）：

$${D_i}^2=(n-1)({\mathbf{x}}_i-{\bar{\mathbf{x}}}_{\cdot }{)}^{\top }{\Sigma }^{-1}({\mathbf{x}}_i-{\bar{\mathbf{x}}}_{\cdot })$$

ただし

$${\mathbf{x}}_i=(x_{i1},\dots ,x_{ip}{)}^{\top }$$
$${\bar{\mathbf{x}}}_{\cdot }=({\bar{x}}_{\cdot 1},\dots ,{\bar{x}}_{\cdot p}{)}^{\top }$$
$$\Sigma =\left(\begin{array}{ccc}{S}_{11}& \cdots & S_{1p}\\ ⋮& \ddots & ⋮\\ S_{p1}& \cdots & S_{pp}\end{array}\right),S_{jk}:=\sum _{i=1}^n(x_{ij}-{\bar{x}}_{\cdot j})(x_{ik}-{\bar{x}}_{\cdot k})$$

で、${\dot{x}}_{\cdot j}$ は行列 $X$ の $j$ 列における列平均。

母回帰の推定

$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1+\cdots +{\hat{\beta }}_p{x}_p$ とするとき、

$$\hat{y}\sim N\left({\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p,\left(\frac{1}{n}+\frac{D^2}{n-1}\right){\sigma }^2\right)$$
$$D^2=(n-1)(\mathbf{x}-\bar{\mathbf{x}}{)}^{\top }{\Sigma }^{-1}(\mathbf{x}-\bar{\mathbf{x}})$$

参考

---

永田靖・棟近雅彦『多変量解析入門』（サイエンス社, 2001）第5章