一般化線形モデル

回帰分析、分散分析、t 検定などを始めとする多くの分析法や検定法は、正規分布に従うデータにしか適用できなかった。かつては、正規分布に従わないデータについては、何らかの近似関数で正規分布に近似させて解析を行っていた。これらの解析は次のようにモデル化することができる。

\[ E[\mathbf{Y}] = \mathbf{X}\mathbf{\beta} \]

これを一般線形モデルという。これに対して、 Nelder と Wedderburn が一般化線形モデルを提唱し、データが正規分布に従わなくてもモデル化することができるようになり、応用範囲が広くなった。一般線形モデルのモデル式にたいして、一般化線形モデルは次のように、期待値をリンク関数 G とよばれる関数で変換したものを右辺と等しくなるようにしたモデルである。

\[ G(E[\mathbf{Y}]) = \mathbf{X}\mathbf{\beta} \]

データが指数型分布族の分布に従えば、その分布に対応するリンク関数は少なくとも 1 つ存在する。

一般化線形モデルを理解するには、線形代数、微分などの数学の知識を始めとして、最尤法、回帰分析などの一般線形モデルの理解が欠かせない。

References

  1. Nelder J, Wedderburn R. Generalized Linear Models. Journal of the Royal Statistical Society. Series A (General). 1972, 135(3):370-384. JSTOR
  2. P.M.E.Altham, Statistical Laboratory, University of Cambridge. Introduction to Generalized Linear Modelling. 2011. PDF
  3. Dobson AJ. An Introduction to Generalized Linear Models. Second Edition. 2002.
  4. 東京大学教養学部統計学教室編. 基礎統計学 III 自然科学の統計学. 1992.
  5. 久保 拓弥 確率と情報の科学 データ解析のための統計モデリング入門 ― 一般化線形モデル・階層ベイズモデル・MCMC. 2012.
  1. 最尤法
    1. 最尤法の基本
    2. 最尤法の例
      1. 二項分布のパラメータ推定
      2. ポアソン分布のパラメータ推定
      3. 正規分布のパラメータ推定
    3. スコア関数とフィッシャー情報量
    4. 十分統計量
  2. 一般化線形モデルとしての一般線形モデル
    1. glm 関数による回帰分析 R
    2. glm 関数による分散分析 R
    3. glm 関数による t 検定 R
  3. 一般化線形モデルのパラメーターの推定と検定
    1. 一般化線形モデルの基本
    2. 誤差構造,連結関数,線形予測子
    3. 指数型分布族
    4. 指数型分布族とその対数尤度関数の特徴
    5. 対数尤度関数と最尤推定量
    6. 対数尤度関数の微分
    7. ニュートン・ラフソン法(IRLS)による最尤推定量計算
    8. IRLS によるポアソン回帰と glm 関数 R
    9. 対数尤度関数とスコア関数のテイラー展開
    10. 一般化線形モデルと検定
    11. 逸脱度
    12. 逸脱度と尤度比検定
    13. スコア検定
    14. Wald 検定
  4. 一般化線形モデルの応用例
    1. 二項反応モデル
      1. ロジスティック回帰 R
      2. プロビット回帰 R
      3. 補対数対数回帰 R
      4. 順序なしロジスティック回帰
      5. 順序ありロジスティック回帰(累積ロジットモデル)
      6. 順序ありロジスティック回帰(隣接カテゴリロジットモデル)
      7. 順序ありロジスティック回帰(連続比ロジットモデル)
    2. ポアソン回帰
      1. カウントデータのポアソン回帰 R
      2. イベント発生率のポアソン回帰 R
      3. ポアソン回帰と過分散
    3. 対数線形モデル
  5. モデルの評価・選択・検定
    1. AIC によるモデル選択
  6. R を利用した一般化線形モデルの解析方法
    1. glm 関数の使い方 R
    2. glm の出力結果と逸脱度(deviance) R