EMアルゴリズムに関する勉強には、産総研赤穂氏のページを参考にすることを勧める。
EMアルゴリズムは、E(expecttion)ステップとM（maximization）ステップを反復的に繰り返すことで、パラメータを逐次改良し、観測データが観測される確率がより高いパラメータを推定する。
観測できない隠れ変数$h$と観測できる変数 $v$ との同時分布 $P(h, v|\theta)$のパラメータ$\theta$を$v$から推定するためのEMゴリズムの、t+1回目のステップは次のように定式化される.

Eステップ：　次式で定義されるQ関数を計算する.これは完全データの真の対数尤度$\log P(h,v|\theta)$ の推定したパラメータに基づく分布$P(h|v, \theta^{(t)})$による期待値である.

$$Q(\theta | \theta^{(t)}) = \sum_{h} P(h | v,\theta^{(t)}) \log P(v,h| \theta)$$

Mステップ：　$Q(\theta|\theta^{(t)})$ を最大化する $\theta$を $\theta^{(t+1)}$ とおく.

$$\theta^{(t+1)} = {argmax}_\theta \left[ Q(\theta | \theta^{(t)}) \right]$$

EMアルゴリズムにおける対数尤度の単調増加性の証明

観測データの対数尤度を $L(\theta)$ と置くと
$$L(\theta) \equiv \log P(v|\theta) = \log P(v,h |\theta) – \log P(h |v,\theta)$$ となる.　両辺を $P(h| v, \theta^{(t)})$ で期待値をとる.　$L(\theta) = \log P(v|\theta)$は$h$によらないので
$$L(\theta) = \sum_{h} \left[ \log P(v,h|\theta) – \log P(h |v, \theta) \right] ( P(h| v, \theta^{(t)}) \\ = Q(\theta | \theta^{(t)}) – \sum_{h} \log P(h |v, \theta) ( P(h| v, \theta^{(t)})$$ したがって、$t+1$ ステップ目と $t$ ステップ目の対数尤度の差は、
$$L(\theta^{(t+1)}) – L(\theta^{(t)}) = \left[ Q(\theta^{(t+1)} | \theta^{(t)}) – Q(\theta^{(t)} | \theta^{(t)}) \right] + \sum_h P(h| v, \theta^{(t)}) \frac{\log P(h |v, \theta^{(t)})}{\log P(h |v,\theta^{(t+1)})}$$
第１項は$\theta^{(t+1)}$ の定義から非負、第２項は２つの確率分布 $P(h |v,\theta^{(t)}$と$P(h |v,\theta^{(t+1)}$のKullback Leibler情報量と呼ばれるもので、非負である.　したがって、対数尤度$L(\theta) = \log P(v|\theta)$は単調増加する.