Hidden Markov Model (HMM; 隠れマルコフモデル)

Markov Modelでは状態を直接観察できて、状態列そのものを信号列とみなす.
Hidden Markov Modelは、状態は直接観察できず、状態からの出力記号だけが観察できて、その列を信号列とみなす．

Hidden Markov Model with Deterministic Outputs (D-HMM; ＊一般的名称ではない）

まず，状態は観測できないが，各状態に固有の（一意な）記号が出力される場合を考える．
マルコフ連鎖$\{S,s_0,A\}$に，出力記号集合 $\Sigma$，出力関数 $\{\phi_i\}$を加えた $\{S,s_0,A,\Sigma,\{\phi_i\}\}$ を隠れマルコフモデル(HMM)と呼ぶ．
・状態集合：$S = \{s_i\}; i=1,\ldots,N$
・初期状態：$s_0 \in S$
・遷移確率行列：$A = \{a_{i,j}\}$; $i,j=1,\ldots,N$: $a_{i,j}$ は状態$s_i$から状態$s_j$への遷移確率
・出力記号集合：$\Sigma = \{c_d\}; d=1,\ldots,D$
・出力関数：$\{\phi(i) \in \Sigma\}$; $i=1,\ldots,N$, $\phi(i)$ は状態$i$から出力される記号.
状態列 $h=(h_1,\ldots , h_T)$;　$h_t \in S, t=1,\ldots,T$
出力列 $x=(x_1,\ldots , x_T)$;　$x_t=\phi(h_t) \in  \Sigma, t=1,\ldots,T$
の同時確率は状態列だけに依存し、次のように書くことができる（$h_0=s_0$）.

$$\begin{align} p(x,h|A)=\prod_{t=1}^T p(h_t|h_{t-1}) =\prod_{t=1}^T a_{h_t,h_{t-1}} \tag{hmm.2}\label{eq:hmm_prob} \end{align}$$

「隠れマルコフモデル」という用語は，観測できるのが出力列だけで，状態列が隠れて見えないことに由来する．D-HMMでは，同一の出力記号を出力する状態が２個以上あれば，出力列から状態列を確定できないから，「隠れ」マルコフモデルとなる．しかし，同一の出力記号を出力する複数の状態がなければ，実質的にマルコフモデルとなる．

Hidden Markov Model with Stochastic Outputs (S-HMM; ＊一般的名称ではない）

工学的応用では、各状態には確定的な出力関数の代わりに、以下のような確率的に記号を出力する出力確率を割り当てる．
出力確率関数：$E = \{e_{i,d}=p(x_t=d|h_t=i)\}$; $i=1,\ldots,N; d=1,\ldots,D$: , $e_{i,d}$ は状態$s_i$から記号$c_d$が出力される出力確率．
状態列 $h=h_1,\ldots , h_T$;　$h_t \in S, t=1,\ldots,T$
出力列 $x=x_1,\ldots , x_T$;　$x_t \in \Sigma, t=1,\ldots,T$
の同時確率は、次のように書くことができる（$h_0=s_0$）.

$$\begin{align} p(x,h|A,E)=\prod_{t=1}^T p(h_t|h_{t-1}) p(x_t|h_t) =\prod_{t=1}^T a_{h_t,h_{t-1}}e_{x_t,h_t} \tag{hmm.3}\label{eq:hmm_joint_prob} \end{align}$$

D-HMM と S-HMM

D-HMMとS-HMMは互いに変換可能である．
S-HMMにおける出力確率関数を，各状態から１つの記号を確率１で出力するように定義すれば，明らかにD-HMMとなる．
D-HMMにおいて，各状態を出力記号によって分割すると，S-HMMに変換できる（練習問題）．