隠れマフコフモデル (HMM)

S={si};i=1,,N: 隠れ状態の集合
Σ={cd};d=1,,D: 出力記号の集合
A={ai,j}; i,j=1,,N: 遷移確率行列, ai,j は状態siから状態sjへの遷移確率
E={ei,d}; i=1,,N;d=1,,D: 出力確率行列, ei,d は状態iから記号cdが出力される出力確率
出力列 x=x1,,xT; xtσ,t=1,,T
状態列 h=h1,,hT; htS,t=1,,T
の同時確率は以下の式で表される(ここでは、初期状態はh0は与えられているとする).
p(x,h|A,E)=Tt=1p(ht|ht1)p(xt|ht)=Tt=1aht,ht1ext,ht

両辺の対数を取って変形すると, 同時分布は指数分布族の標準形になる.
logp(x,h|A,E)=Tt=1logaht,ht1+Tt=1logext,ht=mi=1mj=1Nai,j(h)logai,j+mi=1Dd=1Nei,d(x,h)logei,d=θTϕ(x,h)=logp(ϕ(x,h)|θ)


ここで, Nai,j(h), Nei,d(x,h)は以下のような確率変数で、状態iから状態jへの遷移した回数、状態iから出力記号dが出力された回数を表している.
Nai,j(h)=Tt=1I(ht1=i,ht=j)Nei,d(x,h)=Tt=1I(ht=i,xi=d)

θ, ϕ(x,h)は以下のようなパラメータと確率変数である.
θ={logai,j,logei,d}ϕ(x,h)={Nai,j(h),Nei,d(x,h)}