1.12 ガウス分布の標本分散の自由度

まず、\(\mathbb{E}[x_nx_m]=μ^2+I_{nm}\sigma^2\)を証明する。ちなみに\(n=mでI_{nm}=1, n\neq m でI_{nm}=0\)。
まず、\(n=m\) すなわち \(x_n=x_m\) の場合。

\(
\begin{eqnarray}
\mathbb{E}[x_nx_m] = \mathbb{E}[x_n^2] = μ^2+\sigma^2
\end{eqnarray}
\)

\(n\neq m\) の場合、

\(
\begin{eqnarray}
\mathbb{E}[x_nx_m] &=& \int\int x_np(x_n)x_mp(x_m)dx_ndx_m \\
&=& \int\int x_nN(x_n|μ,\sigma^2)x_mN(x_m|μ,\sigma^2)dx_ndx_m \\
&=& \int x_nN(x_n|μ,\sigma^2)dx_n\int x_mN(x_m|μ,\sigma^2)dx_m \\
&=& μ^2
\end{eqnarray}
\)

したがって、\(\mathbb{E}[x_nx_m]=μ^2+I_{nm}\sigma^2\)であることが示された。
次に\(\mathbb{E}[μ_{ML}]\)を求める。

\(
\begin{eqnarray}
\mathbb{E}[μ_{ML}] &=& \mathbb{E}\left[\frac{1}{N}\sum_{n=1}^Nx_n\right]
&=& \frac{1}{N}\mathbb{E}\left[\sum_{n-1}^Nx_n\right]
&=& \frac{1}{N}\sum_{n-1}^N\mathbb{E}[x_n]
&=& \frac{1}{N}\times Nμ
&=& μ
\end{eqnarray}
\)

さらに\(\mathbb{E}[\sigma^2_{ML}]\)を求める。

\(
\begin{eqnarray}
\mathbb{E}[\sigma^2_{ML}] &=& \mathbb{E}\left[\frac{1}{N}\sum_{n=1}^N(x_n-μ_{ML})^2\right] \\
&=& \frac{1}{N}\mathbb{E}\left[\sum_{n=1}^N(x_n-μ_{ML})^2\right] \\
&=& \frac{1}{N}\sum_{n=1}^N\mathbb{E}[x_n^2-2x_nμ_{ML}+μ_{ML}^2] \\
&=& \frac{1}{N}\sum_{n=1}^N\left(\mathbb{E}[x_n^2]-2\mathbb{E}[x_nμ_{ML}]+\mathbb{E}[μ_{ML}^2]\right)
\end{eqnarray}
\)

\(μ_{ML}=\frac{1}{N}\sum_{m=1}^Nx_m\) を代入する。
\(μ^2_{ML}=\frac{1}{N^2}\sum_{m=1}^N\sum_{l=1}^Nx_mx_l\) と置くことに注意。

\(
\begin{eqnarray}
\mathbb{E}[\sigma^2_{ML}]
&=& \frac{1}{N}\sum_{n=1}^N\left(\mathbb{E}[x_n^2]-\frac{2}{N}\mathbb{E}\left[x_n\sum_{m=1}^Nx_m\right]+\frac{1}{N^2}\mathbb{E}\left[\sum_{m=1}^N\sum_{l=1}^Nx_mx_l\right]\right)
\end{eqnarray}
\)

それぞれの項に注目すると、第1項は\(\mathbb{E}[x_n^2]=μ^2+\sigma^2\)。第2項は、

\(
\begin{eqnarray}
\mathbb{E}\left[x_n\sum_{m=1}^Nx_m\right] &=& \mathbb{E}[x_n(x_1+x_2+\cdots+x_N)] \\
&=& \mathbb{E}[x_nx_1+x_nx_2+\cdots+x_nx_N] \\
&=& \mathbb{E}[x_nx_1]+\mathbb{E}[x_nx_2]+\cdots+\mathbb{E}[x_nx_N]
\end{eqnarray}
\)

ここでの n は \(1 \le n \le N\) のうちのどれか1つなので、\(\mathbb{E}[x_nx_{\color{red}{m}}]\) のうちどれか1つで n=m となる。したがって、

\(
\begin{eqnarray}
\mathbb{E}\left[x_n\sum_{m=1}^Nx_m\right]
&=& Nμ^2+\sigma^2
\end{eqnarray}
\)

第3項は、

\(
\begin{eqnarray}
\mathbb{E}\left[\sum_{m=1}^N\sum_{l=1}^Nx_mx_l\right]=
\mathbb{E}
\left[
\begin{array}{cccccccc}
&\color{red}{x_1x_1} & + & x_1x_2 & + & \cdots & + & x_1x_N \\
+& x_2x_1 & + & \color{red}{x_2x_2} & + & \cdots & + & x_2x_N \\
+& \vdots & + & \vdots & + & \cdots & + & \vdots \\
+& x_Nx_1 & + & x_Nx_2 & + & \cdots & + & \color{red}{x_Nx_N} \\
\end{array}
\right]
\end{eqnarray}
\)

\(N \times N\) の項があって、添字が一致するのはN個あることがわかるので、

\(
\begin{eqnarray}
\mathbb{E}\left[\sum_{m=1}^N\sum_{l=1}^Nx_mx_l\right]=N^2μ^2+N\sigma^2
\end{eqnarray}
\)

したがって、

\(
\begin{eqnarray}
\mathbb{E}[\sigma^2_{ML}]
&=& \frac{1}{N}\sum_{n=1}^N\left(\mathbb{E}[x_n^2]-\frac{2}{N}\mathbb{E}\left[x_n\sum_{m=1}^Nx_m\right]+\frac{1}{N^2}\mathbb{E}\left[\sum_{m=1}^N\sum_{l=1}^Nx_mx_l\right]\right) \\
&=& \frac{1}{N}\sum_{n=1}^N\left\{μ^2+\sigma^2-\frac{2}{N}(Nμ^2+\sigma^2)+\frac{1}{N^2}(N^2μ^2+N\sigma^2)\right\} \\
&=& \frac{1}{N}\sum_{n=1}^N\left(μ^2+\sigma^2-2μ^2-\frac{2\sigma^2}{N}+μ^2+\frac{\sigma^2}{N}\right) \\
&=& \frac{1}{N}\sum_{n=1}^N\left(\frac{N-1}{N}\sigma^2\right) \\
&=& \frac{N-1}{N}\sigma^2
\end{eqnarray}
\)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です