Baum-Welch Algorithmは，出力列からHMMのパラメータ，遷移確率と出力確率を推定するアルゴリズムであり，隠れ変数（HMMの場合は状態）を持つ確率モデルのパラメータ推定アルゴリズムであるEMアルゴリズムの一種である．

隠れ変数のない場合の最尤推定

HMMパラメータの学習データとして，状態列と出力列のペアを用いることができれば，遷移確率，出力確率の推定は容易である．
状態 \(s_i\) から状態 \(s_j\) への遷移の回数を \(A_{i,j}\)，
状態 \(s_i\) から記号 \(c\) が出力された回数を \(E_{i}(c)\)，
を学習データから計算することができるから，多項分布としての遷移確率，出力確率の最尤推定は，
\[
\begin{eqnarray}
\hat{a_{i,j}}^{mle} &=& \frac{A_{i,j}}{\sum_j’ A_{i,j’}},\\
\hat{e_i(c)}^{mle} &=& \frac{E_i(c)}{\sum_c’ E_i(c’)}.
\end{eqnarray}
\tag{hmm.M.5}\label{eq:hmm_counts}
\]

Baum-Welch Algorithm (EM Algorithm of HMM)

学習データにおいて状態列が観測できない場合は，式\(\eqref{eq:hmm_counts}\)における遷移回数 \(A_{i,j}\) および出力回数 \(E_{i}(c)\) （度数）を，仮の遷移確率，出力確率を用いて推定した期待値に置き換えて，遷移確率，出力確率を推定する（推定方法は，Marginalized Probabilities and Countsの項を参照）．推定した遷移確率，出力確率は，仮に用いたものから更新されるから，このプロセスを繰り返すことにより，遷移確率および出力確率の推定値を逐次改善することができる．この繰り返しにより，推定したモデルから学習データが出力される確率が単調に増加することが証明できる．詳しくはEMアルゴリズムの項を参照せよ．