尤度比検定と逸脱度

帰無仮説と対立仮説

尤度比検定は 2 つのモデルの尤度の比を利用した検定である。2 つのモデルは、パラメーターをより多く持つ方を full model、パラメーターをより少ない方を reduced model という。

モデル構築する際に考えられるあらゆるのパラメーターの集合を Θ とする。そのうち full model に組み込まれているパラメーターの集合を Θ0 とし、reduced model に組み込まれているパラメーターの集合を Θ1 とすると、各集合は以下の関係を持つ。

\[ \Theta^{1} \subset \Theta^{0} \subseteq \Theta \]

このとき full model のパラメーターベクトルを β0 とし、reduced model パラメーターを β1 とすると、帰無仮説および対立仮説は以下のように表すことができる。

\[\begin{eqnarray} \mathcal{H}_{0} &:& \mathbf{\beta}^{1} = \mathbf{\beta}^{0} \in \Theta^{0} \\ \mathcal{H}_{1} &:& \mathbf{\beta}^{1} \ne \mathbf{\beta}^{0} \in \Theta^{0} \end{eqnarray}\]

尤度比

尤度比と逸脱度

full model および reduced model の尤度関数を L0、L1 とし、 最尤推定量をそれぞれ \(\hat{\mathbf{\beta}^{0}}\)、\(\hat{\mathbf{\beta}^{1}}\) とする。

尤度関数 L0 は考えられるあらゆるパラメーターが含まれているため、任意の点において他のどの尤度関数(たとえば、L1)よりも大きい値となる。そこで、L1 を最大にする \(\hat{\mathbf{\beta}^{1}}\) において、両者の比は以下のように計算できる。

\[ \lambda = \frac{L_{0}(\hat{\mathbf{\beta}^{1}})}{ L_{1}(\hat{\mathbf{\beta}^{1}}) } \]

もし、λ = 1 ならば、2 つのモデルは同じと考えられ、reduced model に組み込まれている少数のパラメーターは、モデル構築する際に有意でないということになる。

検定を行う際に、一般的に尤度比を log 変換を行った上で 2 倍にした値が使われる。これを逸脱度 D という。

\[ D = 2 \log\lambda = 2(l_{0}(\hat{\mathbf{\beta}^{1}}) - l_{1}(\hat{\mathbf{\beta}^{1}})) \]

この逸脱度について見ていく。

対数尤度関数の差の期待値と分散共分散行列

\(l(\hat{\mathbf{\beta}^{1}}) - l(\hat{\mathbf{\beta}^{0}})\) の期待値と分散共分散行列を求める。

まず、\( l({\mathbf{\beta}})\) を \( \mathbf{\beta} = \hat{\mathbf{\beta}} \) でテイラー展開を行う。最初 3 項は以下のように求まる。

\[ l(\mathbf{\beta}) = l(\hat{\mathbf{\beta}}) + \mathbf{U}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) - \frac{1}{2}(\mathbf{\beta}-\hat{\mathbf{\beta}})^{T}\mathbf{I}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) \]

ここで、\(\mathbf{\beta} = \hat{\mathbf{\beta}^{0}}\)、\(\hat{\mathbf{\beta}} = \hat{\mathbf{\beta}^{1}}\) を上式に代入する。

\[ l(\hat{\mathbf{\beta}^{0}}) = l(\hat{\mathbf{\beta}^{1}}) + \mathbf{U}(\hat{\mathbf{\beta}^{1}})(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}}) - \frac{1}{2}(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}})^{T}\mathbf{I}(\hat{\mathbf{\beta}^{1}})(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}}) \]

帰無仮説が正しければ、\(\hat{\mathbf{\beta}^{1}}\) を \(\hat{\mathbf{\beta}^{0}}\) の最尤推定量とみなすことができる。すなわち、\(\hat{\mathbf{\beta}^{1}}\) はスコア関数(対数尤度関数の 1 次導関数)を 0 にする。このとき、上の式は以下のように書き換えられる。

\[ l(\hat{\mathbf{\beta}^{0}}) = l(\hat{\mathbf{\beta}^{1}}) - \frac{1}{2}(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}})^{T}\mathbf{I}(\hat{\mathbf{\beta}^{1}})(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}}) \]

よって、フィッシャー情報行列が正規性をもつならば、

\[ 2(l(\hat{\mathbf{\beta}^{1}}) - l(\hat{\mathbf{\beta}^{0}})) = (\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}})^{T}\mathbf{I}(\hat{\mathbf{\beta}^{1}})(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}}) \]

統計量の分布

一般に、連続した値 t が存在するとき、t は正規分布に従うものと近似できる。また、t を標準化すれば、t は標準正規化に従う。すなわち、

\[ \frac{t-E[t]}{\sqrt{Var[t]}} \sim N(0, 1)\]

これは以下の式と同じである。

\[ \frac{(t-E[t])^{2}}{Var[t]} \sim \chi ^{2}(1)\]

t が要素数 p を持つベクトル t のとき、同じことを以下のように表現できる。ただし V を分散共分散行列とする。

\[ (\mathbf{t}-E[\mathbf{t}])^{T}\mathbf{V}^{-1}(\mathbf{t})(\mathbf{t}-E[\mathbf{t}]) \sim \chi ^{2}(p) \]

逸脱度

ここで統計量 t を統計量 \(l_{0}(\hat{\mathbf{\beta}^{1}})\) に置き換えて、帰無仮説が成り立つならば \(E[l_{0}(\hat{\mathbf{\beta}^{1}})] = l_{0}(\hat{\mathbf{\beta}^{0}})\) である。このモデルに含まれるパラメーターの個数を p とする。このとき、

\[ 2(l_{0}(\hat{\mathbf{\beta}^{1}}) - l_{0}(\hat{\mathbf{\beta}^{0}})) = (\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}})^{T}\mathbf{I}(\hat{\mathbf{\beta}^{1}})(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}}) \sim \chi^{2}(p) \]

同様にして t を統計量 \(l_{1}(\hat{\mathbf{\beta}^{1}})\) に置き換えて、帰無仮説が成り立つならば \(E[l_{1}(\hat{\mathbf{\beta}^{1}})] = l_{1}(\hat{\mathbf{\beta}^{0}})\) である。また、このモデルに含まれるパラメーターの個数を q とする。このとき、

\[ 2(l_{1}(\hat{\mathbf{\beta}^{1}}) - l_{1}(\hat{\mathbf{\beta}^{0}})) = (\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}})^{T}\mathbf{I}(\hat{\mathbf{\beta}^{1}})(\hat{\mathbf{\beta}^{0}}-\hat{\mathbf{\beta}^{1}}) \sim \chi^{2}(q) \]

この式を利用して、逸脱度 D について整理すると以下のようになる。

\[ \begin{eqnarray} D &=& 2(l_{0}(\hat{\mathbf{\beta}^{1}}) - l_{1}(\hat{\mathbf{\beta}^{1}})) \\ &=& 2(l_{0}(\hat{\mathbf{\beta}^{1}}) - l_{0}(\hat{\mathbf{\beta}^{0}})) - 2(l_{1}(\hat{\mathbf{\beta}^{1}}) - l_{1}(\hat{\mathbf{\beta}^{0}})) + 2(l_{0}(\hat{\mathbf{\beta}^{0}}) - l_{1}(\hat{\mathbf{\beta}^{1}}))\\ & \sim & \chi(p-m, v) \end{eqnarray} \]

ただし、\(v = 2(l_{0}(\hat{\mathbf{\beta}^{0}}) - l_{1}(\hat{\mathbf{\beta}^{1}}))\) である。また、p は L0 を構築する際に用いたパラメーターの数を表し、q はL1 を構築する際に用いたパラメーターの数を表す。

このように逸脱度は自由度 p - m のカイの二乗分布に従う。尤度比検定ではこのことを利用して行う。

References

  1. Chen H. Chapter 5. Hypothesis Testing. 2010. PDF
  2. Matthew S. Hypothesis Testing. 2013. PDF
  3. Lecture 16: Score and Wald Tests. PDF
  4. Dobson AJ. An Introduction to Generalized Linear Models. Second Edition. 2002.