2.11 ディリクレ分布の対数の期待値

ディリクレ分布の下での\(\ln μ_{j}\)の期待値を求める。
ディリクレ分布は、

\(
\begin{eqnarray}
Dir({\bf μ}|{\bf α}) &=& \frac{\Gamma(α_{0})}{\Gamma(α_1)\Gamma(α_2)\cdots\Gamma(α_K)}\prod_{k=1}^{K}μ_{k}^{α_{k}-1} \\
&=& K({\bf α})\prod_{k=1}^{K}μ_{k}^{α_{k}-1} \\
\end{eqnarray}
\)

ところで、\(\prod_{k=1}^{K}μ_{k}^{α_{k}-1}\) を\(α_j\)で微分してみる。
まず、\(x=\exp(\ln x)\) であるというトリッキーな式を使って式を変換する。

\(
\begin{eqnarray}
\frac{\partial}{\partial α_j}\prod_{k=1}^{K}μ_{k}^{α_{k}-1}
&=& \frac{\partial}{\partial α_j}\prod_{k=1}^{K}\exp(\ln μ_{k}^{α_{k}-1}) \\
&=& \frac{\partial}{\partial α_j}\prod_{k=1}^{K}\exp\left\{(α_{k}-1)\ln μ_{k}\right\} \\
&=& \frac{\partial}{\partial α_j}\bigl\{
\exp\left\{(α_{1}-1)\ln μ_{1}\right\}\times\cdots\times
\color{red}{\exp{\left\{(α_{j}-1)\ln μ_{j}\right\}}}\times\cdots\times
\exp\left\{(α_{K}-1)\ln μ_{K}\right\}
\bigr\}
\end{eqnarray}
\)

\(\exp\left\{(α_{j}-1)\ln μ_{j}\right\}\) の部分を微分するだけであることに注意すると、

\(
\begin{eqnarray}
\frac{\partial}{\partial α_j}\prod_{k=1}^{K}μ_{k}^{α_{k}-1}
&=&
\exp\left\{(α_{1}-1)\ln μ_{1}\right\}\times\cdots\times
\color{red}{\ln μ_{j}\exp{\left\{(α_{j}-1)\ln μ_{j}\right\}}}\times\cdots\times
\exp\left\{(α_{K}-1)\ln μ_{K}\right\} \\
&=& \ln μ_j\prod_{k=1}^{K}\exp\left\{(α_{k}-1)\ln μ_{k}\right\} \\
&=& \ln μ_j\prod_{k=1}^{K}μ_{k}^{α_{k}-1} \\
\end{eqnarray}
\)

ディリクレ分布の下での\(\ln μ_{j}\)の期待値は、

\(
\begin{eqnarray}
\int_0^1 \ln μ_jK({\bf α})\prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ}
= K({\bf α}) \int_0^1 \ln μ_j\prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ}
\end{eqnarray}
\)

で求められるが、\(\ln μ_j\prod_{k=1}^{K}μ_{k}^{α_{k}-1} = \frac{\partial}{\partial α_j}\prod_{k=1}^{K}μ_{k}^{α_{k}-1} \) であるから、

\(
\begin{eqnarray}
\int_0^1 \ln μ_jK({\bf α})\prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ}
&=& K({\bf α}) \int_0^1 \frac{\partial}{\partial α_j}\prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ} \\
&=& K({\bf α}) \frac{\partial}{\partial α_j}\int_0^1 \prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ} \\
\end{eqnarray}
\)

となる。ところで、ディリクレ分布の正規化条件より、

\(
\begin{eqnarray}
\int_0^1 K({\bf α})\prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ} &=& 1 \\
\int_0^1 \prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ} &=& \frac{1}{K({\bf α})}
\end{eqnarray}
\)

したがって、

\(
\begin{eqnarray}
\int_0^1 \ln μ_jK({\bf α})\prod_{k=1}^{K}μ_{k}^{α_{k}-1}d{\bf μ}
&=& K({\bf α})\frac{\partial}{\partial α_j}\left(\frac{1}{K({\bf α})}\right)
\end{eqnarray}
\)

\(K({\bf α})\)を省略せずに書くと、

\(
\begin{eqnarray}
K({\bf α})\frac{\partial}{\partial α_j}\left(\frac{1}{K({\bf α})}\right)
&=& \frac{\Gamma(α_0)}{\Gamma(α_1)\cdots\Gamma(α_K)}\frac{\partial}{\partial α_j}\left(\frac{\Gamma(α_1)\cdots\Gamma(α_K)}{\Gamma(α_0)}\right) \\
&=& \frac{\Gamma(α_0)}{\Gamma(α_1)\cdots\Gamma(α_K)}\frac{\partial}{\partial α_j}\left(\Gamma(α_1)\cdots\Gamma(α_j)\cdots\Gamma(α_K)\Gamma(α_0)^{-1}\right) \\
\end{eqnarray}
\)

\(α_j\)での微分を考えると影響があるのは\(\Gamma(α_j)\)と\(\Gamma(α_0)\)であることに注意すると、

\(
\begin{eqnarray}
K({\bf α})\frac{\partial}{\partial α_j}\left(\frac{1}{K({\bf α})}\right)
&=& \frac{\Gamma(α_0)}{\Gamma(α_1)\cdots\Gamma(α_K)}\frac{\partial}{\partial α_j}\left(\Gamma(α_1)\cdots\Gamma(α_K){\color{red}{\Gamma(α_j)\Gamma(α_0)^{-1}}}\right) \\
&=& \frac{\Gamma(α_0)}{\Gamma(α_j)}\frac{\partial}{\partial α_j}\left({\color{red}{\Gamma(α_j)\Gamma(α_0)^{-1}}}\right) \\
&=& \frac{\Gamma(α_0)}{\Gamma(α_j)}\left(\Gamma’(α_j)\Gamma(α_0)^{-1}-\Gamma(α_j)\Gamma(α_0)^{-2}\Gamma’(α_0)\right) \\
&=& \frac{\Gamma(α_0)}{\Gamma(α_j)}\left(\frac{\Gamma’(α_j)}{\Gamma(α_0)}-\frac{\Gamma(α_j)\Gamma’(α_0)}{\Gamma(α_0)^2}\right) \\
&=& \frac{\Gamma’(α_j)}{\Gamma(α_j)}-\frac{\Gamma’(α_0)}{\Gamma(α_0)} \\
&=& \psi(α_j)-\psi(α_0)
\end{eqnarray}
\)

したがって、ディリクレ分布の下での\(\ln μ_{j}\)の期待値は\(\psi(α_j)-\psi(α_0)\)であることが分かる。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です