指数型分布族

指数型分布族の確率質量・密度関数は以下のように表すことができる。

\[ \begin{eqnarray} f(x; \theta) &=& h(x)\exp(\eta(\theta)T(x) - A(\theta)) \\ &=& h(x)g(\theta)\exp(\eta(\theta)T(x)) \\ &=& \exp(\eta(\theta) T(x) -A(\theta) + B(x)) \end{eqnarray} \]

各関数 h(x)、η(θ)、T(x)、および A(θ) は既知の関数として扱われる。また、関数 η(θ) は自然パラメータ、関数 T(x) は十分統計量とよばれている。

また、A(θ) を変数変換により A(η) と変換することができるため、分布関数はさらに以下のようにも書き表すことができる。

\[ f(x; \eta) = h(x)\exp(\eta T(x) - A(\eta)) \\ \]

分布関数の表現方法により、求まる期待値と分散の文字式が異なってくる。しかし、いずれの表現方法においても、期待値は分布関数の 1 階微分から導き出すことができる。また、分散については分布関数の 2 階微分から導き出すことができる。

以下で期待値と分散を求める際に、分布関数を次の表現方法で表すものとする。

\[ f(x; \theta) = \exp(\eta(\theta) T(x) -A(\theta) + B(x)) \]

T(x) の期待値

T(x) の期待値を求める。まず、分布関数の制約条件について、次のことが成り立つ。

\[ \int f(x;\theta)dx = 1 \]

上式の両辺を θ で微分する。

\[ \frac{d}{d\theta}\int f(x;\theta)dx = \int \frac{df(x;\theta)}{d\theta}dx = 0 \]

よって、

\[ \begin{eqnarray} & & \int \frac{df(x;\theta)}{d\theta}dx = 0 \\ &\Longleftrightarrow & \int \left(\eta '(\theta)T(x) - A'(\theta) \right)f(x;\theta)dx = 0 \cdots (*) \end{eqnarray} \]

が求まる。

ここで、期待値の定義により、T(x) の期待値は次のように書ける。

\[ E(T(x)) = \int T(x)f(x;\theta)dx \\ \]

これを式(*)に代入することで、T(x) の期待値が求まる。T(x) = x のとき、すなわち正準形のとき、これは確率変数の期待値となる。

\[ \begin{eqnarray} (*) &\Longleftrightarrow & \eta '(\theta)E[T(x)] - A'(\theta) = 0\\ &\Longleftrightarrow & E[T(x)] = \frac{A'(\theta)}{\eta '(\theta)} \end{eqnarray} \]

T(x) の分散

T(x) の分散は \( \int f(x;\theta)dx = 1 \) を 2 回微分して導くことができる。

\[ \begin{eqnarray} 0 &=& \frac{d^{2}}{d\theta ^{2}}\int f(x;\theta) dx \\ &=& \frac{d}{d\theta}\int (\eta'(\theta)T(x)-A'(\theta))f(x;\theta)dx \\ &=& \int \left( \left(\eta''(\theta)T(x)-A''(\theta) \right)f(x;\theta) + \left( \eta'(\theta)T(x)-A'(\theta) \right)^2{2}f(x;\theta) \right)dx \\ &=& \eta''(\theta) \int T(x)f(x;\theta)dx - A''(\theta) \int f(x;\theta)dx \\ && + (\eta'(\theta))^{2}\int (T(x))^{2} f(x;\theta)dx -2\eta'(\theta)A'(\theta)\int T(x)f(x;\theta)dx \\ && + (A'(\theta))^{2}\int f(x;\theta)dx \\ \end{eqnarray} \]

また、\( \int f(x;\theta)dx = 1 \)、\( \int T(x)f(x;\theta)dx = E[T(x)] \)、および \( \int (T(x))^{2}f(x;\theta)dx = E[(T(x))^{2}] \) を上式に代入する。

\[ \begin{eqnarray} 0 &=& \eta''(\theta)E[T(x)] - A''(\theta) \\ && + (\eta'(\theta))^{2} E[(T(x))^{2}] -2\eta'(\theta)A'(\theta)E[T(x)]+(A'(\theta))^{2} \end{eqnarray} \]

また、上で求めた T(x) の期待値 \(E[T(x)] = \frac{A'(\theta)}{\eta'(\theta)}\) を代入して、E[(T(x)2)] を以下のように表すことができる。

\[ E[(T(x))^{2}] = \frac{(A'(\theta))^{2}\eta'(\theta) -\eta''(\theta)A'(\theta)+\eta'(\theta)A''(\theta) }{\eta'(\theta)^{3}} \]

よって、T(X) の分散は次のように求まる。

\[ Var[T(x)] = E[(T(x))^{2}] - (E[T(x)])^{2}= \frac{\eta'(\theta)A''(\theta)-\eta''(\theta)A'(\theta) }{\eta'(\theta)^{3}} \]

References

  1. Dobson AJ. An Introduction to Generalized Linear Models. Second Edition. 2002.
  2. Exponential family. Wikipedia