時系列分析とは

---

期間 $t=0,1,2,\dots$ のおのおので決まるデータ $y_0,y_1,y_2,\dots$ の列を 時系列データ といいます。時系列分析では、このような時系列データに対してモデルを考え、これを解析・予測することを試みます。

自己相関

---

時系列データ $\{y_t\}$ は、もとは時刻 $t$ で決まる確率変数 $\{Y_t\}$ であったとみることができます（すなわち 確率過程 です）。これらの期待値および分散は、やはり時刻 $t$ で規定されて、

$$E[Y_t]={\mu }_t,V[Y_t]={{\sigma }_t}^2$$

と表すことができます。一方で、時系列データにおいては異なる時点 $(t,t-h)$ での相関を考えることができて、これを 自己共分散 や 自己相関係数 によって特徴づけることができます。

自己共分散

ラグ $h$ だけ離れた2つのデータ $Y_t,Y_{t-h}$ の自己共分散を次で定義します：

$${\gamma }_{t,h}:=Cov[Y_t,Y_{t-h}]$$

これをラグ $h$ の関数とみることもできます。そのような場合には自己共分散関数とよぶこともあります。
また、${\gamma }_{t,0}={{\sigma }_t}^2$ であることもわかります。

自己相関係数

ラグ $h$ だけ離れた2つのデータ $Y_t,Y_{t-h}$ の自己相関係数は、

$${\rho }_{t,h}:=\frac{Cov[Y_t,Y_{t-h}]}{\sqrt{V[Y_t]\cdot V[Y_{t-h}]}}=\frac{{\gamma }_{t,h}}{\sqrt{{{\sigma }_t}^2{{\sigma }_{t-h}}^2}}$$

と定義できます。ラグ $h$ の関数とみる場合には自己相関関数とよび、これを実際のデータからサンプリングしてプロットしたものは コレログラム とよばれます。また、${\rho }_{t,0}=1$ であることもわかります。

定常性とホワイトノイズ

---

弱定常過程

$\{Y_t\}$ の各種統計量について、おのおのが時刻 $t$ に依存せず決まる以下の条件：

1. $E[Y_t]=\mu$
2. $V[Y_t]={\sigma }^2$
3. ${\gamma }_{t,h}={\gamma }_h={\gamma }_{-h}=Cov[Y_t,Y_{t-h}]$

をみたすとき、このような系列を 弱定常過程 とよびます。このとき、

$${\rho }_h={\rho }_{-h}=\frac{{\gamma }_h}{{\gamma }_0}$$

であり、自己相関係数もまた時刻 $t$ に依存しません。

ホワイトノイズ

弱定常過程の時系列データ $\{{ϵ}_t\}$ について、

1. $E[{ϵ}_t]=0$
2. ${\gamma }_{t,h}=0(h\ne 0)$

が成り立つ場合、そのような系列を ホワイトノイズ といいます。定義から明らかなように、ホワイトノイズは時刻 $t$ 毎に独立であるとします。

よく、$\{{ϵ}_t\}$ は互いに独立かつ同一な分布にしたがう（$i.i.d.$）と想定することがあります。例えば、重回帰モデルの誤差項 $\{u_i\}$ は $i.i.d.$ な正規分布 $N(0,{\sigma }^2)$ を想定します。

AR（自己回帰）モデル

---

AR(1)モデル

確率過程 $\{Y_t\}$ が生み出す時系列データ $\{y_t\}$ において、定数 ${\varphi }_0,{\varphi }_1$ を用いて

$$y_t={\varphi }_0+{\varphi }_1{y}_{t-1}+{ϵ}_t$$

と表されるモデルを AR(1)モデル といいます。ここで ${ϵ}_t$ はホワイトノイズで、系列 $\{y_t\}$ を生成する ショック とよばれます。

すなわち、AR(1)モデルは自身の過去の状態 $y_{t-1}$ にショックを与えて新しい状態を回帰的に生成するモデルであることがわかります。ここで、初期状態 $y_0$ が $y_t$ に与える影響の強さは ${{\varphi }_1}^t$ であるので、$|{\varphi }_1|<1$ であるならば時間ステップを経るごとに自己相関は弱まっていくことがわかります。すなわち、$|{\varphi }_1|<1$ であるようなAR(1)モデルは弱定常過程となります。

AR(1)モデルの統計量

AR(1)モデルにしたがう系列 $\{y_t\}$ について、弱定常 $|{\varphi }_1|<1$ を仮定します。このとき、統計量は次のように与えられます：

統計量	表現
期待値 $\mu$	$\frac{{\varphi }_0}{1-{\varphi }_1}$
分散 ${\gamma }_0$	$\frac{{\sigma }^2}{1-{{\varphi }_1}^2}$
自己共分散 ${\gamma }_h$	${\varphi }_1{\gamma }_{h-1}$
自己相関係数 ${\rho }_h$	${\varphi }_1{\rho }_{h-1}$

自己相関は1ステップごとに ${\varphi }_1$ ずつ減少していき、ゼロへ漸近していくことがわかります。

AR(p)モデル

$p$ 個の過去の状態 $y_{t-1},\dots ,y_{t-p}$ で $y_t$ が説明される場合、これを AR(p)モデル といい、

$$y_t={\varphi }_0+\sum _{h=1}^p{\varphi }_h{y}_{t-h}$$

で表します。

MA（移動平均）モデル

---

MA(1)モデル

確率過程 $\{Y_t\}$ が生み出す時系列データ $\{y_t\}$ において、定数 ${\theta }_1$ および $E[y_t]=\mu$ なる期待値 $\mu$ を用いて

$$y_t=\mu +{ϵ}_t+{\theta }_1{ϵ}_{t-1}$$

と表されるモデルを MA(1)モデル といいます。${ϵ}_t$ はショック（ホワイトノイズ）です。

MA(1)モデルは過去の状態に依存せず、現在と過去のショックのみから状態を生成するモデルであるといえます。

MA(1)モデルの統計量

AR(1)モデルと異なり、MA(1)モデルは必ず弱定常過程となります。各種統計量は次のように与えられます：

統計量	表現
期待値 $\mu$	$\mu$
分散 ${\gamma }_0$	$(1+{{\theta }_1}^2){\sigma }^2$
自己共分散（ラグ $1$）${\gamma }_1$	${\theta }_1{\sigma }^2$
自己共分散（ラグ $h>1$）${\gamma }_h$	$0$

AR(1)モデルと異なり、2ステップ以上離れた場合の自己相関は必ずゼロとなることがわかります。

MA(q)モデル

${ϵ}_t$ に加え、$q$ 個のホワイトノイズ ${ϵ}_{t-1},\dots ,{ϵ}_{t-q}$ で $y_t$ が説明される場合、これを MA(q)モデル といい、

$$y_t=\mu +{ϵ}_t+\sum _{h=1}^q{\theta }_h{ϵ}_{t-h}$$

で表します。

周波数領域における解析

---

定常なモデルの自己共分散関数 ${\gamma }_h$ に対する（離散）フーリエ変換：

$$f(\lambda )=\frac{1}{2\pi }\sum _{h=-\infty }^{\infty }{\gamma }_h{e}^{-i\lambda h}$$

を スペクトラム（スペクトル密度関数） といいます。これは時間領域（$h$）から周波数領域（$\lambda$）への変換であり、コレログラム ${\hat{\gamma }}_h$ における任意の時間領域での変換は ピリオドグラム とよばれます。ここで、

$${\gamma }_0={\int }_{-\pi }^{\pi }f(\lambda )d\lambda$$

が成り立ちます。

周波数領域での分析は、時系列データがどのような周期性をもつか考えるうえでよく役に立ちます。たとえば定常（$|{\varphi }_1|<1$）なAR(1)過程においては、${\varphi }_1<0$ である場合にはコレログラムは大きく振動しますから、ピリオドグラムは高周波数成分を多くもちます。対して、${\varphi }_1>0$ であればコレログラムはなめらかに単調減少していきますから、ピリオドグラムは低周波数成分を多くもちます。

系列相関の検定

---

ダービン・ワトソン検定

重回帰モデル：

$$y_t={\beta }_0+{\beta }_1{x}_{1,t}+\cdots +{\beta }_n{x}_{n,t}+u_t$$

において、これが時系列データであるとするとき、任意の誤差項 $u_t,u_{t-1}$ 間の相関（自己相関）を検定する方法を ダービン・ワトソン検定 といいます。この検定で用いる統計量は、誤差の推定量を ${\hat{u}}_t$ とするとき、

$$DW=\frac{\sum _{t=2}^T({\hat{u}}_t-{\hat{u}}_{t-1}{)}^2}{\sum _{t=2}^T{{\hat{u}}_t}^2}\simeq 2(1-{\hat{\rho }}_1)$$

と表され、これを ダービン・ワトソン比 といいます。ここで ${\hat{\rho }}_1$ はラグ $1$ の自己相関係数の推定量であり、$T$ が十分大きいときに、

$${\hat{\rho }}_1=\frac{Cov[{\hat{u}}_t,{\hat{u}}_{t-1}]}{\sqrt{V[{\hat{u}}_t]\cdot V[{\hat{u}}_{t-1}]}}\simeq \frac{\sum _{t=2}^T{\hat{u}}_t{\hat{u}}_{t-1}}{\sum _{t=2}^T{{\hat{u}}_t}^2}$$

です。さて、帰無仮説 $H_0:{\rho }_1=0$ とすれば、帰無仮説の下での検定統計量 $DW$ は $2$ に近くなるため、

$DW\simeq 2$ のとき

${\hat{\rho }}_1\simeq 0$ であり、誤差は系列相関なしと判断する。

$DW\ll 2$ のとき

${\hat{\rho }}_1\gg 0$ であり、誤差は正の系列相関をもつと判定する。

$DW\gg 2$ のとき

${\hat{\rho }}_1\ll 0$ であり、誤差は負の系列相関をもつと判定する。

が得られます。

参考

---

書籍

『統計学実践ワークブック』（学術図書出版社, 2020）第27章

サイト

pythonで「計量時系列分析」を読む1 時系列分析の基礎概念 | Qiita

pythonで「計量時系列分析」を読む2 ARMA過程