1.1 二乗和誤差の係数

二乗和誤差関数は以下の通り。
\(
\begin{eqnarray}
E({\bf w}) &=& \frac{1}{2}\sum_{n=1}^N \bigl\{y(x_n, {\bf w})-t_n\bigr\}^2 \\
&=& \frac{1}{2}\sum_{n=1}^N \bigl\{(\sum_{j=0}^M w_jx_n^j)-t_n\bigr\}^2 \\
&=& \frac{1}{2}\sum_{n=1}^N (w_{0}+w_{1}x_{n}+w_{2}x_{n}^2+\cdots+{\color{red}{w_{i}x_{n}^{i}}}+\cdots+w_{M}x_{n}^{M}-t_{n})^2
\end{eqnarray}
\)

二乗和誤差を関数を最小にする係数\({\bf w} = \left\{w_{i}\right\}\)を求めるには、上記関数\(w_{i}\)で微分し、それを0にする\(w_{i}\)を求めれば良い。
二乗和誤差の\(\sum\)の中だけを考えて、見やすいように整形すると

\(
\begin{eqnarray}
(\color{red}{x_{n}^i{w_{i}}}+w_{0}+w_{1}x_{n}+w_{2}x_{n}^2+\cdots+w_{M}x_{n}^{M}-t_{n})^2
\end{eqnarray}
\)

となる。ここで注意することは、\(x_{n}\)ではなく、\(w_{i}\)について微分するということ。
また、\(x_{n}^i{w_{i}}\)以外の項は定数項であり、微分されるとなくなってしまうということ。
要は\((ax+b)^2\)を微分するというだけの問題になります。

\(
\bigl\{(ax+b)^2\bigr\}’=2a(ax+b)
\)

なので、

\(
\begin{eqnarray}
\frac{\partial E(\bf{w})}{\partial w_{i}} &=& \frac{1}{2}\sum_{n=1}^{N}2x_{n}^{i}(w_{0}+w_{1}x_{n}+w_{2}x_{n}^2+\cdots+w_{M}x_{n}^{M}-t_{n}) \\
&=&\sum_{n=1}^{N}x_{n}^{i}(w_{0}+w_{1}x_{n}+w_{2}x_{n}^2+\cdots+w_{M}x_{n}^{M}-t_{n}) \\
&=&w_{0}\sum_{n=1}^Nx_{n}^{i}+w_{1}\sum_{n=1}^{N}x_{n}^{i+1}+\cdots+w_{M}\sum_{n=1}^{N}x_{n}^{i+M}-\sum_{n=1}^{N}x_{n}^{i}t_{n} = 0
\end{eqnarray}
\)

したがって、

\(
\begin{eqnarray}
w_{0}\sum_{n=1}^Nx_{n}^{i}+w_{1}\sum_{n=1}^{N}x_{n}^{i+1}+\cdots+w_{M}\sum_{n=1}^{N}x_{n}^{i+M}=\sum_{n=1}^{N}x_{n}^{i}t_{n}
\end{eqnarray}
\)

さらに整理すると、

\(
\begin{eqnarray}
\sum_{j=0}^{M}\left(\sum_{n=1}^Nx_{n}^{i+j}\right)w_{j}=\sum_{n=1}^{N}x_{n}^{i}t_{n}
\end{eqnarray}
\)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です