最尤法(正規分布)

確率関数 X が平均 μ、分散 σ2 の正規分布に従うとき、その確率密度関数は以下のように表すことができる。

\[ f(X; \mu, \sigma^{2}) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left( -\frac{(X-\mu)^{2}}{2\sigma^{2}} \right) \]

平均 μ、分散 σ2 の正規分布に基づく n 個の観測値 x1, x2, ..., xn が得られた時、平均 μ を最尤法により求める方法を示す。n 個のデータがお互いに独立であるとき、その同時確率関数は以下のように書ける。

\[ f(x_{1},x_{2},\cdots,x_{n}; \mu, \sigma^{2}) = \left(\frac{1}{\sqrt{2\pi\sigma^{2}}}\right)^{n} \exp\left( -\sum_{i=1}^{n}\frac{(x_{i}-\mu)^{2}}{2\sigma^{2}} \right) \]

このとき、対数尤度関数は次のように計算できる。

\[ \begin{eqnarray} l(\mu, \sigma^{2}; x_{1},x_{2},\cdots,x_{n}) &=& \log L(x_{1},x_{2},\cdots,x_{n}; \mu, \sigma^{2}) \\ &=& \log f(x_{1},x_{2},\cdots,x_{n}; \mu, \sigma^{2}) \\ &=& n\log\frac{1}{\sqrt{2\pi\sigma^{2}}} - \sum_{i=1}^{n}\frac{(x_{i}-\mu)^{2}}{2\sigma^{2}} \end{eqnarray} \]

\(\frac{\partial l}{\partial \mu} = 0\) を計算すると、μ は以下のように求められる。

\[ \begin{eqnarray} \frac{\partial l}{\partial \mu} = 0 &\Leftrightarrow& -\frac{n}{2\sigma^{2}} + \sum_{i=1}^{n}\frac{(x_{i}-\mu)^{2}}{2\sigma^{4}} = 0 \\ &\Leftrightarrow& \sum_{i=1}^{n}\frac{(x_{i}-\mu)^{2}}{2\sigma^{4}} = \frac{n}{2\sigma^{2}} \\ &\Leftrightarrow& \mu = \frac{1}{n}\sum_{i=1}^{n}x_{i} \end{eqnarray} \]