一般化線形モデルと検定

統計モデルを評価するには

観測データをモデル化しあとに、そのモデルの当てはまりの良さについて検討する必要がある。例えば、ある 1 セットの観測データがあり、左のように散布図がプロットできたとする。このデータをモデル化を行ってみる。

まず、1 つ目のモデルを y = ax + b とする。パラメーターとなる a および b を推定して回帰直線を書き入れると、下の左の図のようになった。次に y = ax2 + bx + c としてモデル構築し、パラメーターを推測して、二次曲線からなる近似曲線を書き入れると、下の真ん中の図のようになった。最後に、y = ax3 + bx2 + cx + d としてモデル化を行い、その近似曲線を書き入れると、下の右の図ようになった。

このように同じデータに対して多様なモデルを構築することができる。パラメーターの数を増やすほど、モデルの当てはまりが良くなっていく。しかし、むやみにパラメーターを増やすと、どのパラメーターが重要であるかの本質を見失う。

そこで、どのモデルが観測データを説明するのに最適なのかを評価するために、パラメーターの数やモデルの当てはまりの両方について検討を行う必要がある。例えば、2 次近似を 1 次近似に比べたとき、パラメーター数は 1 つ多いが、当てはまりの良さも非常に良くなった。一方で、3 次近似を 2 次近似を比べたとき、パラメーター数は 1 つ多いにもかかわらず当てはまりの良さがほとんど変わっていない。このような比較から 2 次近似のモデルが最適であると判定できる。(実際の検定では、当てはまりの良さやパラメーター数を計算して判定する)

上述のように 2 つのモデルが比べる方法以外に考えられる評価方法としては、まず観測データをいくつかのパラメーターでモデル構築する。次に、このモデルが最適なモデルであると仮定する。その上で、観測データをこのモデルに当てはめて、そのズレについて検討を行う。もしズレが小さければ仮定は正しく、このモデルは最適なモデルであるといえる。

一般化線形モデルの検定法

モデルの検定方法として上述のように 2 つのアプローチがある。すなわち、「2 つのモデルを比較し、どのモデルが優れているかを判定する」と「構築したモデルを最適なモデルと仮定して観測データを当てはめ、そのズレの大小でモデルが優れているかどうかを判断する」である。前者のアプローチで検定を行う方法としてWald 検定尤度比検定がある。また、後者のアプローチで検定を行う方法としてスコア検定がある。

後者の方は、解析者は観測データをいくつかのパラメーターでモデル構築を行い、そのモデルを最適なモデルと仮定した時に、観測データをどのぐらいよく当てはめるかについて検定を行う。

これに対して前者は、2 つのモデルを想定する必要がある。一般化線形モデルによる解析において、観測データをモデル化する上で考えられるあらゆるパラメーターを使って構築したモデル(full model)と、解析者が重要と思われる少数のパラメーターのみを用いて構築したモデル(reduced model)を比較する。検定の結果として full model と reduced model がほぼ同じと判定した場合、解析者が重要と思われた少数のパラメーターが実際に重要でなかったということになる。

full model は考えられるあらゆるパラメーターと書いたが、実際にはすべてのパラメーターを含まなくてもよい。重要な事は、reduced model を構築する際に使うパラメーターは、full model の構築する際に使うパラメーターの一部である必要がある。

つまり、考えられるあらゆるのパラメーターの集合を Θ、full model のパラメーターの集合を Θ0、reduced model のパラメーターの集合を Θ1 としたとき、各集合は以下の関係を持つ。

\[ \Theta^{1} \subset \Theta^{0} \subseteq \Theta \]

ここで full model のパラメーターベクトルを β0 とし、reduced model のパラメーターを β1 とすると、帰無仮説および対立仮説は以下のように表すことができる。

\[\begin{eqnarray} \mathcal{H}_{0} &:& \mathbf{\beta}^{1} = \mathbf{\beta}^{0} \in \Theta^{0} \\ \mathcal{H}_{1} &:& \mathbf{\beta}^{1} \ne \mathbf{\beta}^{0} \in \Theta^{0} \end{eqnarray}\]

スコア検定

スコアは対数尤度関数の 1 次導関数として定義されている、つまり対数尤度関数の接線の傾きとなる。そこで、観測データを一般化線形モデルによりモデル化を行い、最尤法により推定されたパラメーターの最尤推定量を \(\hat{\mathbf{\beta}}\) とする。もし、現在のモデルが最適なモデルであれば、\(\hat{\mathbf{\beta}}\) における接線の傾きが限りなくゼロに近づくと考えられる。

スコア検定ではこのように、対数尤度関数の 1 次導関数(すなわち、接線の傾き)を利用した検定である。

Wald 検定

Wald 検定を利用するには full model と reduced model の 2 つのモデルを構築する必要がある。 2 つのモデルからパラメーターの最尤推定量を推定し、両者の最尤推定量の差を利用して検定を行う。

例えば、reduced model のパラメーターの最尤推定量を \(\hat{\mathbf{\beta}^{1}}\) とし、full model のパラメーターの最尤推定量を \(\hat{\mathbf{\beta}^{0}}\) とすることで、両者の差は \(\hat{\mathbf{\beta}^{1}} - \hat{\mathbf{\beta}^{0}}\) として計算できる。もし、両者の最尤推定量に差がなければ、この差がゼロに近づく。このとき、2 つのモデルは同じであるとみなせるため、reduced model に組み込んだ「重要と考えられるパラメーター」はそれほど重要でない、という判断を下すことができる。

このように 2 つのモデルのパラメーターの最尤推定量の差を利用した検定を Wald 検定という。

尤度比検定

尤度比検定を利用するには full model と reduced model の 2 つのモデルを構築する必要がある。 2 つのモデルからパラメーターの最尤推定量を推定し、両者の尤度の差を利用して検定を行う。

例えば、reduced model のパラメーターの最尤推定量を \(\hat{\mathbf{\beta}^{1}}\) とし、両者の対数尤度の差は \(\log L(\hat{\mathbf{\beta}^{1}}) - \log L( \hat{\mathbf{\beta}^{1}})\) として計算できる。もし、両者の対数尤度に差がなければ、この差がゼロに近づく。このとき、2 つのモデルは同じであるとみなせるため、興味のあるモデルに組み込んだ「重要と考えられるパラメーター」はそれほど重要でない、という判断を下すことができる。このような検定法を尤度比検定

スコ検定、Wald 検定、尤度比検定の関係図

一般化線形モデルに用いられる 3 種の検定の違いを図示するとおおよそ以下のようなイメージとなる。

スコ検定、Wald検定、尤度比検定の関係図

References

  1. Chen H. Chapter 5. Hypothesis Testing. 2010. PDF
  2. Matthew S. Hypothesis Testing. 2013. PDF
  3. Lecture 16: Score and Wald Tests. PDF
  4. Dobson AJ. An Introduction to Generalized Linear Models. Second Edition. 2002.