2.10 ディリクレ分布の平均・分散

ディリクレ分布は以下。

\(
\begin{eqnarray}
Dir({\bf μ}|{\bf α})=\frac{\Gamma(α_{0})}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_K)}\prod_{k=1}^{K}μ_{k}^{α_{k}-1}
\end{eqnarray}
\)

ディリクレ分布の平均は、

\(
\begin{eqnarray}
\mathbb{E}[μ_{j}] &=& \int_0^1 μ_jDir({\bf μ}|{\bf α})dμ_j \\
&=& \int_0^1 \frac{\Gamma(α_{0})}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_K)}\prod_{k=1}^{K}μ_{k}^{α_{k}-1}μ_jdμ_j
\end{eqnarray}
\)

\(\bf μ\) でも \(μ_k\) でもなく、\(μ_j\) に対して積分することに注意。
そもそも

\(
\begin{eqnarray}
\int_0^1 \prod_{k=1}^{K}μ_{k}^{α_{k}-1}dμ_j=\frac{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_K)}{\Gamma(α_0)}=\frac{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_K)}{\Gamma(α_1+α_2+\cdots+α_k)}
\end{eqnarray}
\)

であり、\(α_j\) が \(α_j+1\) に置き換えられているだけだと認識すれば、

\(
\begin{eqnarray}
\int_0^1 \prod_{k=1}^{K}μ_{k}^{α_{k}-1}μ_jdμ_j &=& \frac{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma({\color{red}{α_j+1}})\cdots\Gamma(α_K)}{\Gamma(α_1+α_2+\cdots+{\color{red}{α_j+1}}\cdots+α_k)} \\
&=& \frac{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j+1)\cdots\Gamma(α_K)}{\Gamma(\sum α_k+1)} \\
\end{eqnarray}
\)

\(\Gamma(x+1)=x\Gamma(x)\)であることに注意すると、

\(
\begin{eqnarray}
\mathbb{E}[μ_{j}] &=& \frac{\Gamma(\sum α_k)}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j)\cdots\Gamma(α_K)}\frac{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j+1)\cdots\Gamma(α_K)}{\Gamma(\sum α_k+1)} \\
&=& \frac{\Gamma(\sum α_k)}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j)\cdots\Gamma(α_K)}\frac{\Gamma(α_1)\Gamma(α_2)\cdots{\color{red}{α_j\Gamma(α_j)}}\cdots\Gamma(α_K)}{\color{red}{\sum α_k\Gamma(\sum α_k)}} \\
&=& \frac{α_j}{\sum α_k} \\
&=& \frac{α_j}{α_0}
\end{eqnarray}
\)

次に分散。\(var[μ_j]=\mathbb{E}[μ_{j}^2]-\mathbb{E}[μ_{j}]^2\) のため、まず \(\mathbb{E}[μ_{j}^2]\)を求めてみる。
これも平均の計算と同じで、\(α_j\) が \(α_j+2\) に置き換えられているだけだと認識すれば、

\(
\begin{eqnarray}
\mathbb{E}[μ_{j}^2] &=& \frac{\Gamma(\sum α_k)}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j)\cdots\Gamma(α_K)}\frac{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j+2)\cdots\Gamma(α_K)}{\Gamma(\sum α_k+2)} \\
&=& \frac{\Gamma(\sum α_k)}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j)\cdots\Gamma(α_K)}\frac{\Gamma(α_1)\Gamma(α_2)\cdots{\color{red}{(α_j+1)\Gamma(α_j+1)}}\cdots\Gamma(α_K)}{\color{red}{\left(\sum α_k+1\right)\Gamma(\sum α_k+1)}} \\
&=& \frac{\Gamma(\sum α_k)}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_j)\cdots\Gamma(α_K)}\frac{\Gamma(α_1)\Gamma(α_2)\cdots{\color{red}{α_j(α_j+1)\Gamma(α_j)}}\cdots\Gamma(α_K)}{\color{red}{\sum α_k\left(\sum α_k+1\right)\Gamma(\sum α_k)}} \\
&=& \frac{α_j(α_j+1)}{\sum α_k\left(\sum α_k+1\right)} \\
&=& \frac{α_j(α_j+1)}{α_0(α_0+1)}
\end{eqnarray}
\)

したがって、

\(
\begin{eqnarray}
var[μ_j] &=& \mathbb{E}[μ_{j}^2]-\mathbb{E}[μ_{j}]^2 \\
&=& \frac{α_j(α_j+1)}{α_0(α_0+1)}-\frac{α_j^2}{α_0^2} \\
&=& \frac{α_0α_1^2+α_0α_i-α_0α_1^2-α_i^2}{α_0^2(α_0+1)} \\
&=& \frac{α_j(α_0-α_j)}{α_0^2(α_0+1)}
\end{eqnarray}
\)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です