テイラー展開

関数 f(x) をベクトル x の関数とする。関数 f(x) のテイラー展開について考える。

関数 g(t) = a + t(x - a) とし、関数 h(t) を次のように定義する。ただし、t は実数とする。

\[ h(t) = f(g(t)) = f(\mathbf{a} + t(\mathbf{x} - \mathbf{a})) \]

ここで、h(t) の関数に対して、t = 0 のまわりでテイラー展開を行う。最初の 3 項は以下のようになる。

\[ h(t) = h(0) + h'(0)(t-0) + \frac{1}{2}h''(0)(t-0)^{2} \ \ \ \cdots (*) \]

h'(t) を求める。

\[ h'(t) = \mathbf{\nabla}(f(g(t))) = \mathbf{\nabla}f(g(t))(\mathbf{x}-\mathbf{a}) \]

h''(t) を求める。

\[ h''(t) = \mathbf{\nabla}^{2}(f(g(t))) = \mathbf{\nabla}^{2}f(g(t))(\mathbf{x}-\mathbf{a})^{2} \]

ここで t = 1 とすると、h(1) = f(x)、h(0) = f(g(0)) = f(a) だから、式 (*) に代入して整理すると、関数 f(x) のテイラー展開の式が得られる。

\[ \begin{eqnarray} && h(1) = h(0) + h'(0) + \frac{1}{2}h''(0) \\ &\Leftrightarrow& f(\mathbf{x}) = f(\mathbf{a}) + \mathbf{\nabla}f(\mathbf{a})(\mathbf{x} - \mathbf{a}) + \frac{1}{2}\mathbf{\nabla}^{2}f(\mathbf{a})(\mathbf{x}-\mathbf{a})^{2} \end{eqnarray} \]

f(a) と (x - a) の内積を交換して、以下のように書くこともできる。

\[ f(\mathbf{x}) = f(\mathbf{a}) + (\mathbf{x} - \mathbf{a})^{T}\mathbf{\nabla}f(\mathbf{a}) + \frac{1}{2}(\mathbf{x}-\mathbf{a})^{T}\mathbf{\nabla}^{2}f(\mathbf{a})(\mathbf{x}-\mathbf{a}) \]

対数尤度関数のテイラー展開

βT = (β1, β2, ..., βp) からなる対数尤度関数を l(β) とする。また、\(\beta = \hat{\beta}\) を l(β) の最尤推定量とする。このとき、l(β) を \(\hat{\beta}\) のまわりでテイラー展開を行い、最初の 3 項は以下のように書き表せる。

\[ l(\mathbf{\beta}) = l(\hat{\mathbf{\beta}}) + \mathbf{\nabla}l(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) + \frac{1}{2}(\mathbf{\beta}-\hat{\mathbf{\beta}})^{T}\mathbf{\nabla}^{2}l(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) \]

ここで、l(β) = U(β) 、すなわちスコア関数であるから、上の式は以下のように書き表すことができる(計算過程)。

\[ l(\mathbf{\beta}) = l(\hat{\mathbf{\beta}}) + \mathbf{U}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) + \frac{1}{2}(\mathbf{\beta}-\hat{\mathbf{\beta}})^{T}\mathbf{\nabla}^{2}l(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) \]

また、E[2l(β)] = I(β) であるから、2l(β) を E[2l(β)] = -I(β)、すなわちフィッシャー情報行列で近似すれば、さらに次のように書き換えられる(計算過程)。

\[ l(\mathbf{\beta}) = l(\hat{\mathbf{\beta}}) + \mathbf{U}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) - \frac{1}{2}(\mathbf{\beta}-\hat{\mathbf{\beta}})^{T}\mathbf{I}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) \]

スコア関数のテイラー展開

スコア関数についても、\(\hat{\beta}\) のまわりでテイラー展開を行い、最初の 2 項は以下のように書き表すことができる。

\[ \mathbf{U}(\mathbf{\beta}) = \mathbf{U}(\hat{\mathbf{\beta}}) + \mathbf{\nabla}\mathbf{U}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) \]

∇U(β) を E[∇U(β)] = -I(β) で近似すれば、さらに次のように書き換えられる(計算過程)。

\[ \mathbf{U}(\mathbf{\beta}) = \mathbf{U}(\hat{\mathbf{\beta}}) - \mathbf{I}(\hat{\mathbf{\beta}})(\mathbf{\beta}-\hat{\mathbf{\beta}}) \]

References

  1. Johan H, Claes J, Anders L. Applied Mathematics: Body and Soul. 3:54.14. 2004. Body & Soul
  2. Dobson AJ. An Introduction to Generalized Linear Models. Second Edition. 2002.
  3. Taylor series. Wikipedia