مدل مارکوف پنهان
مدل پنهان مارکوف (HMM)

تا اینجا ما مدل مارکوف، که در آن هر حالت متناظر با یک رویداد قابل مشاهده بود را معرفی نمودیم. در این بخش تعریف فوق را گسترش می‌دهیم، به این صورت که در آن، مشاهدات توابع احتمالاتی از حالتها هستند. در این صورت مدل حاصل یک مدل تصادفی با یک فرایند تصادفی زیرین است که پنهان است و تنها توسط مجموعه‌ای از فرایندهای تصادفی که دنباله مشاهدات را تولید می‌کنند قابل مشاهده است.
برای مثال فرض کنید که شما در یک اتاق هستید و در اتاق مجاور آن فرد دیگری سکه‌هایی را به هوا پرتاب می‌کند و بدون اینکه به شما بگوید این کار را چگونه انجام می‌دهد و تنها نتایج را به اطلاع شما می‌رساند. در این حالت شما با فرایند پنهان انداختن سکه‌ها و با دنباله‌ای از مشاهدات شیر یا خط مواجه هستید. مسئله‌ای که اینجا مطرح می‌شود چگونگی ساختن مدل مارکوف به منظور بیان این فرایند تصادفی است. برای مثال اگر تنها مشاهدات حاصل از انداختن یک سکه باشد، می‌توان با یک مدل دو حالته مسئله را بررسی نمود. یک مدل پنهان مارکوف را می‌توان با تعیین پارامترهای زیر ایجاد نمود:
تعداد حالات ممکن: تعداد حالتها در موفقیت مدل نقش به سزایی دارد و در یک مدل پنهان مارکوف هر حالت با یک رویداد متناظر است. برای اتصال حالتها روش‌های متفاوتی وجود دارد که در عمومی‌ترین شکل تمام حالتها به یکدیگر متصل می‌شوند و از یکدیگر قابل دسترسی می‌باشند.
تعداد مشاهدات در هر حالت: تعداد مشاهدات برابر است با تعداد خروجیهایی که سیستم مدل شده خواهد داشت.
N تعداد حالتهای مدل
M تعداد سمبلهای مشاهده در الفبا، اگر مشاهدات گسسته باشند آنگاه M یک مقدار نا محدود خواهد داشت.
\ A={a_{ij}}
\ A=[a_{ij}] ماتریس انتقال حالت:یک مجموعه از احتمالات در بین حالت‌ها
\ a_{ij}=p(q_{t+1}=j|q_{t}=i),\qquad i\geq 1,N\geq j
که در آن  \ q_{t}بیانگر حالت فعلی می‌باشد. احتمالات انتقال باید محدودیتها طبیعی یک توزیع احتمال تصادفی را برآورده نمایند. این محدودیتها شامل موارد زیر می‌گردند
\ a_{ij}\geq 0,\qquad i\geq 1,N\geq j
\sum _{j=1}^{N}a_{ij}=1,\qquad 1\leq i\leq N
برای حالات مدل ارگودیک برای تمامi وjها مقدار \ a_{ij} بزرگتر از صفر است و در موردی که اتصالی بین حالات وجود ندارد \ a_{ij}=0 است.
توزیع احتمال مشاهدات: یک توزیع احتمال برای هر یک از حالتها
\ B={b_{j}(k)}
\ b_{j}(k)=p{o_{t}=v_{k}|q_{t}=j},\qquad 1\leq j\leq N,\qquad 1\leq k\leq M
که در آن  \ v_{k} بیانگرkامین سمبل مشاهده شده در الفبا است و \ o_{t} بیانگر بردار پارامترهای ورودی فعلی می‌باشد. در مورد مقادیر احتمال حالتها نیز شرایط موجود در نظریه احتمال باید رعایت گردند.
\ b_{j}(k)\qquad 1\leq j\leq N,\qquad 1\leq K\leq M
\sum _{K=1}^{M}b_{j}(k)=1,\qquad 1\leq j\leq N
اگر مشاهدات به صورت پیوسته باشند، باید به جای احتمالهای گسسته از یک تابع چگالی احتمال پیوسته استفاده شود. معمولاً چگالی احتمال به کمک یک مجموع وزندار از M توزیع نرمال μ تخمین زده می‌شود.
\ b_{j}(o_{t})=\Sigma _{m=1}^{M}c_{jm}\mu (\mu _{jm},\Sigma _{jm},o_{t})
که در آن  \ \mu _{jm}،>, \ C_{jm}, \ \Sigma _{jm},
به ترتیب ضریب بردار میانگین، ضریب وزندهی و ماتریس کواریانس می‌باشند. در رابطه فوق مقادیر \ c_{jm} باید شرایط زیر را ارضا نماید:
\ c_{jm},\qquad 1\leq j\leq N,\qquad 1\leq m\leq M
\sum _{m=1}^{M}c_{jm}(k)=1,\qquad j\geq 1,N\geq j
توزیع احتمال حالت آغازین
\ \pi =(\pi _{i}) که در آن
\ \pi _{i}=p(q_{1}=i),\qquad 1\leq i\leq N
به این ترتیب ما می‌توانیم یک مدل پنهان مارکوف با توزیع احتمال گسسته را با استفاده از سه‌گانه زیر مشخص نماییم.
\ \lambda =(\mathrm {A} ,\mathrm {B} ,\pi )
همچنین یک مدل پنهان مارکوف با توزیع احتمال پیوسته به صورت زیر نشان داده می‌شود.
\ \lambda =(\mathrm {A} ,C_{jm},\mu _{jm},\Sigma _{jm},\pi )