正規文法(RG)の生成規則の全てに，確率を付与することにより，確率正規文法(Stochastic Regular Grammar;SRG)となる．

確率正規文法

確率正規文法は，有限個の終端記号(Terminal Symbol)の集合，有限個の非終端記号(Non-terminal Symbol)の集合，非終端記号のうち特殊な開始記号，有限個の以下の形の確率付き生成規則（Production Rule）からなる．
$A \rightarrow xB$; $p(A \rightarrow xB)$
$A \rightarrow x$; $p(A \rightarrow x)$
ただし$A, B$は非終端記号，$x$は終端記号

隠れマフコフモデル(HMM)

確率正規文法は，非終端記号を状態，開始非終端記号を初期状態，終端記号を出力記号とみなすことにより，マルコフ連鎖から導入した隠れマルコフモデルと類似の確率モデルとなる．ただし，確率正規文法では、各状態からではなく，各状態遷移から記号が出力される．

Mealy MachineとMoore Machine