隠れマフコフモデル (HMM)
S={si};i=1,…,N: 隠れ状態の集合
Σ={cd};d=1,…,D: 出力記号の集合
A={ai,j}; i,j=1,…,N: 遷移確率行列, ai,j は状態siから状態sjへの遷移確率
E={ei,d}; i=1,…,N;d=1,…,D: 出力確率行列, ei,d は状態iから記号cdが出力される出力確率
出力列 x=x1,…,xT; xt∈σ,t=1,…,T
状態列 h=h1,…,hT; ht∈S,t=1,…,T
の同時確率は以下の式で表される(ここでは、初期状態はh0は与えられているとする).
p(x,h|A,E)=T∏t=1p(ht|ht−1)p(xt|ht)=T∏t=1aht,ht−1ext,ht
両辺の対数を取って変形すると, 同時分布は指数分布族の標準形になる.
logp(x,h|A,E)=T∑t=1logaht,ht−1+T∑t=1logext,ht=m∑i=1m∑j=1Nai,j(h)logai,j+m∑i=1D∑d=1Nei,d(x,h)logei,d=θT⋅ϕ(x,h)=logp(ϕ(x,h)|θ)
ここで, Nai,j(h), Nei,d(x,h)は以下のような確率変数で、状態iから状態jへの遷移した回数、状態iから出力記号dが出力された回数を表している.
Nai,j(h)=T∑t=1I(ht−1=i,ht=j)Nei,d(x,h)=T∑t=1I(ht=i,xi=d)
θ, ϕ(x,h)は以下のようなパラメータと確率変数である.
θ={logai,j,logei,d}ϕ(x,h)={Nai,j(h),Nei,d(x,h)}