Forward Algorithm，Backward AlgorithmのDP変数，$f_i(t), b_i(t)$を用いて，周辺確率や周辺化カウントを計算できる．

States and Outputs

出力列が $x_{1…T}=x_1\ldots x_T$であるとき，時刻 $t$ の状態が $s_i$ である確率は，

$$\begin{eqnarray} P(h_t=s_i|x_{1…T}) &=& \frac{P(x_{1…T},h_t=s_i)}{P(x_{1…T})}\\ &=& \frac{P(x_{1…t},h_t=s_i)P(x_{t+1…T}|h_t=s_i)}{P(x_{1…T})}\\ &=& \frac{f_i(t)b_i(t)}{\sum_j f_j(T)}. \end{eqnarray} \tag{hmm.M.1}\label{eq:hmm_state_prob_esitimate}$$

このとき，状態が $s_i$ が記号 $c$ を出力した回数の期待値 $\hat{E_i(c)}$ は，上の確率を $x_t=c$ である $t$ についてだけ和をとれば求まる．

$$\begin{eqnarray} \hat{E_i(c)} &=& E[s_i \mbox{ emits } c |x_{1…T}]\\ &=& \sum_{t|x_t=c} P(h_t=s_i|x_{1…T})\\ &=& \frac{\sum_{t|x_t=c}f_i(t)b_i(t)}{\sum_j f_j(T)}. \end{eqnarray} \tag{hmm.M.2}\label{eq:hmm_emission_count_esitimate}$$

Transitions

出力列が $x_{1…T}=x_1\ldots x_T$であるとき，時刻 $t$ から時刻 $t+1$ で状態 $s_i$ から状態 $s_j$ に遷移した確率は，

$$\begin{eqnarray} P(h_t=s_i,h_{t+1}=s_j|x_{1…T}) &=& \frac{P(x_{1…T},h_t=s_i,h_{t+1}=s_j)}{P(x_{1…T})}\\ &=& \frac{P(x_{1…t},h_t=s_i)P(x_{t+1…T},h_{t+1}=s_j|h_t=s_i)}{P(x_{1…T})}\\ &=& \frac{f_i(t)a_{i,j}e_j(x_{t+1})b_j(t+1)}{\sum_j f_j(T)}. \end{eqnarray} \tag{hmm.M.3}\label{eq:hmm_transition_prob_esitimate}$$
このとき，状態 $s_i$ から状態 $s_j$ に遷移した回数の期待値 $\hat{A_{i,j}}$ は，上の確率を以下のように $t$ について合計すれば求まる．
$$\begin{eqnarray} \hat{A_{i,j}} &=& E[s_i \rightarrow s_j|x_{1…T}]\\ &=& \sum_{t=1}^{T-1} P(h_t=s_i,h_{t+1}=s_j|x_{1…T})\\ &=& \frac{\sum_{t=1}^{T-1} f_i(t)a_{i,j}e_j(x_{t+1})b_j(t+1)}{\sum_j f_j(T)}. \end{eqnarray} \tag{hmm.M.4}\label{eq:hmm_transition_count_esitimate}$$