2.1 ベルヌーイ分布の正規化・平均・分散

まずはベルヌーイ分布の正規化。
ベルヌーイ分布の定義から、\(p(x=0|μ)=1-μ\)、 \(p(x=1|μ)=μ\) なので
\(
\begin{eqnarray}
\sum_{x=0}^1 p(x|μ) &=& p(x=0|μ)+p(x=1|μ) \\
&=& (1-μ)+μ \\
&=& 1
\end{eqnarray}
\)

次にベルヌーイ分布の平均。
\(
\begin{eqnarray}
\mathbb{E}[x] &=& \sum_{x=0}^1 xp(x|μ) \\
&=& 0\times p(x=0|μ)+1\times p(x=1|μ) \\
&=& μ
\end{eqnarray}
\)

ベルヌーイ分布の分散。
\(
\begin{eqnarray}
var[x] &=& \sum_{x=0}^1 (x-\mathbb{E}[x])^2p(x|μ) \\
&=& (0-μ)^2\times p(x=0|μ)+(1-μ)^2\times p(x=1|μ) \\
&=& (0-μ)^2\times (1-μ) +(1-μ)^2\times μ \\
&=& μ^2(1-μ)+μ(1-μ)^2 \\
&=& μ(μ-μ^2+μ^2-2μ+1) \\
&=& μ(1-μ)
\end{eqnarray}
\)

ベルヌーイ分布のエントロピー。
\(
\begin{eqnarray}
H[x] &=& -\sum_{x=0}^1 p(x|μ)\ln{p(x|μ)} \\
&=& -\bigl((1-μ)\ln{(1-μ)}+μ\ln{μ}\bigr) \\
&=& -μ\ln{μ}-(1-μ)\ln{(1-μ)}
\end{eqnarray}
\)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です