主成分分析とは

多くの特徴量を持つデータを分析する場合、もとの特徴量を組み合わせて新たな特徴量（主成分）を構成することで、より少ない次元でデータを説明できる場合があります。そのような手法を 主成分分析 (PCA) といいます。

導出：2つの特徴量

第1主成分

簡単のために2つの特徴量 $x_{1}, x_{2}$ で $y$ を説明することを考えます。このようなシチュエーションでは重回帰分析を適用することもできますが、より多くの特徴量を考える場合にはあまり現実的ではなくなります。

いま、 $x_{1}, x_{2}$ をおのおの標準化した $u_{1} := (x_{1} - \overset{x}{ˉ}_{1}) / σ_{1}$ および $u_{2} := (x_{2} - \overset{x}{ˉ}_{2}) / σ_{2}$ を考え、これらの線形結合として、

$z_{1} = a_{1} u_{1} + a_{2} u_{2}$

をなる特徴量（第1主成分） $z_{1}$ を構成します。これがもとの特徴量 $x_{1}, x_{2}$ の性質をよく反映するためには、 $x_{1}, x_{2}$ が与えたデータの情報を広く含んでいる必要があるでしょう。すなわち、 $z_{1}$ の分散：

$V [z_{1}] = \frac{1}{n - 1} i = 1 \sum n (z_{i 1} - \overset{z}{ˉ}_{1})^{2}$

を条件つきで最大化することで係数の組 $(a_{1}, a_{2})$ を定めます。

$V [z_{1}] = \frac{1}{n - 1} [a_{1}^{2} i = 1 \sum n u_{i 1}^{2} + a_{2}^{2} i = 1 \sum n u_{i 2}^{2} + 2 a_{1} a_{2} i = 1 \sum n u_{i 1} u_{i 2}]$

$V [z_{1}] = a_{1}^{2} + a_{2}^{2} + 2 r_{12} a_{1} a_{2}$

ここで、 $u_{1}, u_{2}$ は標準化してあるため、

$E [u_{1}] = E [u_{2}] = 0, V [u_{1}] = V [u_{2}] = 1, r_{12} = C o v [u_{1}, u_{2}]$

となることを用いています。いま、制約条件 $a_{1}^{2} + a_{2}^{2} = 1$ のもとで $V [z_{1}]$ を最大化するために、未定乗数 $λ$ を導入したラグランジュ関数 $L (a_{1}, a_{2}, λ)$ ：

$L (a_{1}, a_{2}, λ) = a_{1}^{2} + a_{2}^{2} + 2 r_{12} a_{1} a_{2} - λ (a_{1}^{2} + a_{2}^{2} - 1)$

を与え、これをおのおのの変数で微分すると、固有方程式：

$(1 r_{12} r_{12} 1) (a_{1} a_{2}) = λ (a_{1} a_{2}) ⟺ R a = λ a$

が導かれます。すなわち、性質のいい $z_{1}$ を構成するために標準化した特徴量 $u_{1}, u_{2}$ の相関行列 $R$ を考え、その固有ベクトル $a$ として $z_{1}$ の線形結合係数を与えることになります。

ところで、

$V [z_{1}] = a^{⊤} R a = λ ∣ a ∣^{2} = λ$

ですから、相関行列 $R$ の固有値 $λ$ は $z_{1}$ の分散に等しく、これを最大化するという要請から、ここでの $λ$ は $R$ の最大固有値 $λ_{1}$ に相当することになります。

第2主成分以降

第2主成分を $z_{2} = b_{1} u_{1} + b_{2} u_{2}$ とするとき、これは $z_{1}$ では拾いきれなかった情報を拾うために、 $z_{1}$ と無相関であるように定めます。導出は省略しますが、結果としてそのような $b = (b_{1}, b_{2})^{⊤}$ は $R$ の第2固有値 $λ_{2}$ に対応する固有ベクトルとして求まります。

これらから帰納的に考えて、第 $k$ 主成分 $z_{k}$ は $R$ の第 $k$ 固有値 $λ_{k}$ に対応する固有ベクトルから決まります。

寄与率・累積寄与率

第 $k$ 主成分がどの程度情報を保持しているかの指標として、次の 寄与率 を定義します：

$\frac{λ _{k}}{λ _{1} + \dots + λ _{n}}$

また、寄与率を累積した 累積寄与率 も主成分を選択するうえでの指標となります：

$\frac{λ _{1} + \dots + λ _{k}}{λ _{1} + \dots + λ _{n}}$

ところで、 $R$ に相似な対角行列を $D$ とするとき、トレースの相似変換における対称性：

$Tr (R) = Tr (D) = i = 1 \sum n λ_{i} = n$

があるため、 $R$ の全固有値の総和は必ず採択可能な主成分の数に等しくなります。

主成分負荷量

主成分 $z_{\cdot}$ ともとの特徴量 $x_{\cdot}$ の間の相関係数：

$r [z_{i}, x_{j}] = \frac{C o v [ z _{i} , x _{j} ]}{V [ z _{i} ] V [ x _{j} ]} = λ_{i} a_{ij}$

を 主成分負荷量 といい、各主成分がどの程度もとの特徴量の情報を反映しているかの指標となります。

一般の場合

$p$ 個の特徴量 $x_{1}, x_{2}, \dots, x_{p}$ に対し、主成分分析の適用を考えます。

相関行列による方法

相関行列 $R$ ：

$R = 1 r_{21} ⋮ r_{p 1} r_{12} 1 ⋮ r_{p 2} \dots \dots ⋱ \dots r_{1 p} r_{2 p} ⋮ r_{pp}$

の固有値問題を考える場合、以下のアルゴリズムとなります：

主成分分析

特徴量を標準化

標準化した特徴量の相関係数 $r_{ij}$ を総当たりで求める

相関行列 $R$ の固有値問題を解き、第 $k$ 主成分の固有値 $λ_{k}$ と対応する固有ベクトル $a_{k}$ を得る

累積寄与率などを参考にいくつかの主成分を取り出してプロット

主成分負荷量は、

$r [z_{k}, x_{l}] = λ_{k} a_{k l}$

と計算されます。ただし $a_{k l}$ は $a_{k}$ の第 $l$ 成分を表します。

分散共分散行列による方法

分散共分散行列から始める場合、特徴量を標準化する必要はありません。もとの特徴量 $x_{i}, x_{j}$ 間の共分散 $σ_{ij}^{2}$ をならべた分散共分散行列 $Σ$ ：

$Σ = σ_{11}^{2} σ_{21}^{2} ⋮ σ_{p 1}^{2} σ_{12}^{2} σ_{22}^{2} ⋮ σ_{p 2}^{2} \dots \dots ⋱ \dots σ_{1 p}^{2} σ_{2 p}^{2} ⋮ σ_{pp}^{2}$

を用いると、主成分負荷量については、

$r [z_{k}, x_{l}] = \frac{λ _{k}}{σ _{k l} ^{2}} a_{k l}$

と計算されます。これは、分散共分散行列 $Σ$ と相関行列 $R$ の間に、標準偏差 $σ_{ii}$ をならべた対角行列 $D$ を介して、

$Σ = D^{⊤} R D$

の関係があるためです。

参考

永田靖・棟近雅彦『多変量解析入門』（サイエンス社, 2001）第9章

『統計学実践ワークブック』（学術図書出版社, 2020）第22章

大学生 | 化学・Webプログラミング・統計学など

「主成分分析」入門