\(S = \{s_i\}; i=1,\ldots,N\): 隠れ状態の集合
\(\Sigma = \{c_d\}; d=1,\ldots,D\): 出力記号の集合
\(A = \{a_{i,j}\}\); \(i,j=1,\ldots,N\): 遷移確率行列， \(a_{i,j}\) は状態\(s_i\)から状態\(s_j\)への遷移確率
\(E = \{e_{i,d}\}\); \(i=1,\ldots,N; d=1,\ldots,D\): 出力確率行列, \(e_{i,d}\) は状態\(i\)から記号\(c_d\)が出力される出力確率
出力列 \(x=x_1,\ldots , x_T\);　\(x_t \in  \sigma, t=1,\ldots,T\)
状態列 \(h=h_1,\ldots , h_T\);　\(h_t \in S, t=1,\ldots,T\)
の同時確率は以下の式で表される（ここでは、初期状態は\(h_0\)は与えられているとする）.
\[ \begin{align}
p(x,h|A,E)=\prod_{t=1}^T p(h_t|h_{t-1}) p(x_t|h_t) =\prod_{t=1}^T a_{h_t,h_{t-1}}e_{x_t,h_t}
\tag{A.1}\label{eq:hmm_joint_prob}
\end{align} \]

両辺の対数を取って変形すると， 同時分布は指数分布族の標準形になる.
\[
\begin{align}
\log{p(x,h|A,E)}
&=\sum_{t=1}^T \log{a_{h_t,h_{t-1}}} + \sum_{t=1}^T \log{e_{x_t,h_t}} \\
&=\sum_{i=1}^m \sum_{j=1}^m N^a_{i,j}(h) \log{a_{i,j}}
+\sum_{i=1}^m \sum_{d=1}^D N^e_{i,d}(x,h) \log{e_{i,d}} \\
&= \theta^T \cdot \phi(x,h) = \log{p(\phi(x,h)|\theta)}
\tag{A.2}\label{eq:hmm_log_linear}
\end{align}
\]
ここで， \(N^a_{i,j}(h)\), \(N^e_{i,d}(x,h)\)は以下のような確率変数で、状態\(i\)から状態\(j\)への遷移した回数、状態\(i\)から出力記号\(d\)が出力された回数を表している．
\[ \begin{align}
N^a_{i,j}(h) &= \sum_{t=1}^{T} I(h_{t-1}=i, h_{t}=j) \\
N^e_{i,d}(x,h) &= \sum_{t=1}^{T} I(h_t=i, x_i=d)
\end{align} \]
\(\theta\), \(\phi(x,h)\)は以下のようなパラメータと確率変数である．
\[ \begin{align}
\theta &= \{\log{a_{i,j}}, \log{e_{i,d}}\} \\
\phi(x,h) &= \{N^a_{i,j}(h), N^e_{i,d}(x,h)\}
\end{align} \]