Payamvdn/NorthPersian_fa_wiki huggingface dataset:
ان مارکوف حل می شود. با توجه به پارامترهای مدل پنهان مارکوف، می توانیم مسایلی به صورت زیر را حل کنیم. یادگیری. وظیفه یادگیری در HMM، یافتن بهترین احتمالات جابجایی ها و خروجی ها بر اساس یک دنباله یا دنباله هایی از خروجی هاست. معمولاً این پارامترها به وسیله متد maximum likelihood بر اساس خروجی داده شده تخمین زده می شوند. هیچ الگوریتم قطعی برای حل این مسئله وجود ندارد ولی برای پیدا کردن maximum likelihood محلی می توان از الگوریتم های کارایی مانند Baum-welch algorithmو یا Baldi-chauvin algorithmاستفاده کرد. الگوریتم Baum-Welch نمونه ای از الگوریتم forward-backwardو به صورت خاص موردی از الگوریتم expectation-maximization می باشد. یک مثال ملموس. دو دوست به نام های آلیس و باب را در نظر بگیرید. آن ها دور از هم زندگی کرده و هر روز دربارهٔ کارهای روزمره شان با هم تلفنی صحبت می کنند. فعالیت های باب شامل "قدم زدن در پارک"،"خرید کردن" و "تمیز کردن آپارتمان" می شود. انتخاب اینکه هر روز کدام کار را انجام دهد منحصراً بستگی به هوای همان روز دارد. آلیس اطلاع دقیقی از هوای محل زندگی باب نداشته ولی از تمایلات کلی وی آگاه است (بنا
به نوع هوا چه کاری را دوست دارد انجام دهد). بر اساس گفته های باب در پایان هر روز، آلیس سعی می کند هوای آن روز را حدس بزند. آلیس هوا را یک زنجیرهٔ گسستهٔ مارکوف می پندارد که دو حالت "بارانی" و "آفتابی" دارد. اما به طور مستقیم هوا را مشاهده نمی کند؛ بنابراین، حالات هوا بر او پنهان است. در هر روز احتمال اینکه باب به "قدم زدن"،"خرید کردن" و "تمیز کردن"بپردازد بستگی به هوا داشته و دارای یک احتمال مشخص است. مشاهدات مسئله شرح فعالیت هایی است که باب در انتهای هر روز به آلیس می گوید. آلیس اطلاعات کلی دربارهٔ هوای محل زندگی باب و اینکه در هر نوع آب و هوا با چه احتمالی چه کار انجام می دهد را دارد. به عبارت دیگر پارامترهای مسئله HMM معلوم هستند که در کد زیر مشاهده می شوند: states = ('Rainy', 'Sunny') observations = ('walk', 'shop', 'clean') transition_probability = { 'Rainy': {'Rainy': 0.7, 'Sunny': 0.3}, 'Sunny': {'Rainy': 0.4, 'Sunny': 0.6}, emission_probability = { 'Rainy': {'walk': 0.1, 'shop': 0.4, 'clean': 0.5}, 'Sunny': {'walk': 0.6, 'shop': 0.3, 'clean': 0.1}, در این کد start_probability نمایانگر احتمال رخ دادن
هر یک از حالات HMM (بارانی یا آفتابی) در روز اولی که باب با آلیس صحبت می کند می باشد.transition_probability نمایانگر تغییر هوا بر اساس قواعد زنجیرهٔ مارکو است. به طور مثال اگر امروز بارانی باشد به احتمال ۳۰٪فردا آفتابی است.emition_probability نمایانگر این است که باب علاقه دارد که در هر هوایی چه کار کند به طور مثال در هوای بارانی با احتمال ۵۰٪ آپارتمانش را تمیز کرده یا در هوای آفتابی با احتمال ۶۰٪در پارک قدم می زند. تاریخچه. مدل پنهان مارکوف برای اولین بار در مجموعه مقالات آماری leonard E.Baum و سایر نویسندگان در نیمه دوم دهه ۱۹۶۰ توضیح داده شد. یکی از اولین کاربردهای HMM تشخیص گفتار بوده که در اواسط دههٔ ۱۹۷۰ شروع شد. HMM در نیمهٔ دوم ۱۹۸۰ وارد حوزهٔ آنالیز دنباله های بیولوژیکی، به طور خاص DNA شد. از آن پس، کاربرد آن در بیوانفورماتیک گسترش یافت. انواع مدل پنهان مارکوف. مدل پنهان مارکوف می تواند فرایندهای پیچیده مارکوف را که حالتها بر اساس توزیع احتمالی مشاهدات را نتیجه می دهند، مدل کند. به طور مثال اگر توزیع احتمال گوسین باشد در چنین مدل مارکوف پنهان خروجی حالتها نیز از توزیع گوسین تبعیت می کنند. علاوه بر این
مدل پنهان مارکوف می تواند رفتارهای پیچیده تر را نیز مدل کند. جایی که خروجی حالت ها از ترکیب دو یا چند توزیع گوسین پیروی کند که در این حالت احتمال تولید یک مشاهده از حاصلضرب گوسین انتخاب شدهٔ اولی در احتمال تولید مشاهده از گوسین دیگر به دست می آید. فرایند مارکوف گسسته. یک سیستم مانند شکل زیر را که در هر لحظه در یکی از حالت متمایز S1... ,SN است در نظر بگیرید. در زمان های گسسته و با فواصل منظم، حالت سیستم با توجه به مجموعه ای از احتمالات تغییر می کند. برای زمان های… ,t=۱٬۲ حالت در لحظه t را با qt نشان می دهیم. برای یک توصیف مناسب از سیستم فعلی نیاز به دانستن حالت فعلی در کنار تمام حالات قبلی می باشد. برای یک حالت خاص از زنجیره مارکوف مرتبه اول، توصیف احتمالاتی تنها با حالت فعلی و حالت قبلی مشخص می شود. formula_9 formula_10 حال تنها فرایندهایی را در نظر می گیریم که در آن ها سمت راست رابطه فوق مستقل از زمان است و به همین دلیل ما مجموعه ای از احتمالات انتقال بین حالت ها را خواهیم داشت. formula_11 که در آن احتمال انتقال بین حالات دارای خواص زیر است. formula_12 formula_13 فرایند تصادفی فوق را مدل مارکوف قابل مشاهده
می گویند زیرا خروجی مدل مجموعه ای از حالات است که قرار گرفتن در آن ها متناظر با یک مشاهده می باشد. ما می توانیم دنباله مشاهدات مورد انتظار خود را تولید کنیم و احتمال وقوع آن در زنجیره مارکوف را محاسبه نماییم. برای مثال با داشتن دنباله مشاهدات formula_14احتمال وقوع آن به صورت زیر بیان می شود. formula_15 formula_16 یکی دیگر از مواردی که مطرح می شود این است که اگر سیستم در حالت formula_17 باشد با چه احتمالی به حالت formula_18 می رود و با چه احتمالی در همان حالت formula_17 باقی می ماند. مرتبه مدل مارکوف. ۱- مدل مارکوف مرتبه صفر. یک مدل مارکوف از مرتبه صفر هیچ حافظه ای ندارد و برای هر t و t' در دنباله سمبل ها، formula_20 خواهد بود. مدل مارکوف از مرتبه صفر مانند یک توزیع احتمال چند جمله ای می باشد. ۲- مدل مارکوف مرتبه اول. یک مدل مارکوف مرتبه اول دارای حافظه ای با طول ۱ می باشد. توزیع احتمال در این مدل به صورت زیر مشخص می شود. formula_21 تعریف فوق مانند این است که k مدل مارکوف در مرتبه صفر برای هر formula_22 داشته باشیم. ۳- مدل مارکوف مرتبه m ام. مرتبه یک مدل مارکوف برابر است با طول حافظه ای که مقادیر احتمال ممکن ب
رای حالت بعدی به کمک آن محاسبه می شود. برای مثال، حالت بعدی در یک مدل مارکوف از درجه ۲ (مدل مارکوف مرتبه دوم) به دو حالت قبلی آن بستگی دارد. مثال ۱: برای مثال اگر یک سکه معیوب A داشته باشیم که احتمالات شیر یا خط آمدن برای آن یکسان نباشد، می توان آن را با یک مدل مارکوف درجه صفر با استفاده از احتمالات (pr(H و (pr(H توصیف نمود. pr(H)=0.6, pr(T)=۰٫۴ مثال ۲: حال فرض کنید که سه سکه با شرایط فوق در اختیار داریم. سکه ها را با اسامی B, A و C نام گذاری می نماییم. آنگاه برای توصیف روال زیر به یک مدل مارکوف مرتبه اول نیاز داریم: a) سکه X را پرتاب می کنیم و نتیجه را می نویسیم. b) سکه C را نیز پرتاب می کنیم. c) اگر سکه C خط آمد، آنگاه سکه X را تغییر می دهیم (A را با B یا B را با A جایگزین می کنیم) و در غیر این صورت تغییری در سکه ها نمی دهیم. انجام روال فوق مدل مارکوف مرتبه اول زیر را نتیجه خواهد داد. یک پردازش مارکوفی مانند نمونه فوق در طول پیمایش احتمالات، یک خروجی نیز خواهد داشت. یک خروجی نمونه برای پردازش فوق می تواند به شکل HTHHTHHttthtttHHTHHHHtthtthttht باشد. مدل مارکوف فوق را می توان به صورت نموداری از حالات و انتقا
ل ها نیز نشان داد. کاملاً مشخص است که این گونه بازنمایی از مدل مارکوف مانند بازنمایی یک ماشین انتقال حالت محدود است که هر انتقال با یک احتمال همراه می باشد مدل پنهان مارکوف (HMM). تا اینجا ما مدل مارکوف، که در آن هر حالت متناظر با یک رویداد قابل مشاهده بود را معرفی نمودیم. در این بخش تعریف فوق را گسترش می دهیم، به این صورت که در آن، مشاهدات توابع احتمالاتی از حالتها هستند. در این صورت مدل حاصل یک مدل تصادفی با یک فرایند تصادفی زیرین است که پنهان است و تنها توسط مجموعه ای از فرایندهای تصادفی که دنباله مشاهدات را تولید می کنند قابل مشاهده است. برای مثال فرض کنید که شما در یک اتاق هستید و در اتاق مجاور آن فرد دیگری سکه هایی را به هوا پرتاب می کند و بدون اینکه به شما بگوید این کار را چگونه انجام می دهد و تنها نتایج را به اطلاع شما می رساند. در این حالت شما با فرایند پنهان انداختن سکه ها و با دنباله ای از مشاهدات شیر یا خط مواجه هستید. مسئله ای که اینجا مطرح می شود چگونگی ساختن مدل مارکوف به منظور بیان این فرایند تصادفی است. برای مثال اگر تنها مشاهدات حاصل از انداختن یک سکه باشد، می توان با یک مدل دو حالته مسئله ر
ا بررسی نمود. یک مدل پنهان مارکوف را می توان با تعیین پارامترهای زیر ایجاد نمود: تعداد حالات ممکن: تعداد حالتها در موفقیت مدل نقش به سزایی دارد و در یک مدل پنهان مارکوف هر حالت با یک رویداد متناظر است. برای اتصال حالتها روش های متفاوتی وجود دارد که در عمومی ترین شکل تمام حالتها به یکدیگر متصل می شوند و از یکدیگر قابل دسترسی می باشند. تعداد مشاهدات در هر حالت: تعداد مشاهدات برابر است با تعداد خروجیهایی که سیستم مدل شده خواهد داشت. N تعداد حالتهای مدل M تعداد سمبلهای مشاهده در الفبا، اگر مشاهدات گسسته باشند آنگاه M یک مقدار نا محدود خواهد داشت. formula_23 formula_24 ماتریس انتقال حالت:یک مجموعه از احتمالات در بین حالت ها formula_25 که در آن formula_26بیانگر حالت فعلی می باشد. احتمالات انتقال باید محدودیتها طبیعی یک توزیع احتمال تصادفی را برآورده نمایند. این محدودیتها شامل موارد زیر می گردند formula_27 formula_28 برای حالات مدل ارگودیک برای تمامi وjها مقدارformula_29 بزرگتر از صفر است و در موردی که اتصالی بین حالات وجود نداردformula_30 است. توزیع احتمال مشاهدات: یک توزیع احتمال برای هر یک از حالتها formula_31 fo
rmula_32 که در آن formula_33 بیانگرkامین سمبل مشاهده شده در الفبا است وformula_34 بیانگر بردار پارامترهای ورودی فعلی می باشد. در مورد مقادیر احتمال حالتها نیز شرایط موجود در نظریه احتمال باید رعایت گردند. formula_35 formula_36 اگر مشاهدات به صورت پیوسته باشند، باید به جای احتمالهای گسسته از یک تابع چگالی احتمال پیوسته استفاده شود. معمولاً چگالی احتمال به کمک یک مجموع وزندار از M توزیع نرمال μ تخمین زده می شود. formula_37 که در آن formula_38،&gt;,formula_39,formula_40, به ترتیب ضریب بردار میانگین، ضریب وزندهی و ماتریس کواریانس می باشند. در رابطه فوق مقادیرformula_41 باید شرایط زیر را ارضا نماید: formula_42 formula_43 توزیع احتمال حالت آغازین formula_44 که در آن formula_45 به این ترتیب ما می توانیم یک مدل پنهان مارکوف با توزیع احتمال گسسته را با استفاده از سه گانه زیر مشخص نماییم. formula_46 همچنین یک مدل پنهان مارکوف با توزیع احتمال پیوسته به صورت زیر نشان داده می شود. formula_47 انواع مدل های پنهان مارکوف و HMM پیوسته. همان طور که گفته شد نوع خاصی از HMM وجود دارد که در آن تمام حالات موجود با یکدیگر متصل هستن
د. لیکن مدل مخفی مارکوف از لحاظ ساختار و اصطلاحاً توپولوژی انواع مختلف دارد. همان طور که گفته شد برای مدل ارگودیک برای تمام i و jها formula_48 است و ساختار مدل مثل یک گفتار کامل است که راسها در آن دارای اتصالات بازگشتی نیز می باشند. لیکن برای کاربردهای متفاوت و با توجه به پیچیدگی فرایند نیاز به ساختار متفاوتی وجود دارد. از جمله این ساختارها که به شکل گسترده ای در کاربردهای شناسایی گفتار مبتنی بر واج و شناسایی گوینده مورد استفاده قرار می گیرد، مدل چپ به راست یا مدل بکیس است. این مدل که ساختار آن را در شکل ۲ نیز می بینید، دارای اتصالات چپ به راست است و برای مدل کردن سیگنالهایی که خواص آن ها با زمان تغییر می کند مورد استفاده قرار می گیرد. در مدل چپ به راست تنها یک حالت ورودی وجود دارد که همان حالت اول است و به این ترتیب: formula_49 مدلهای ارگودیک و چپ به راست مدل های HMM پایه هستند و در پردازش گفتار نیز بیشترین کاربرد را دارا می باشند. هرچند می توان با اتصال چندین مدل یا تغییر در ساختار اتصالات آن مدلهایی با انعطاف پذیری بیشتری ایجاد نمود. شکل ۲-ج یک نمونه از مدل موازی چپ به راست، که شامل دو مدل چپ به راست است،
را نشان می دهد. در قسمت های قبل مدل های HMM برای مجموعه مشاهدات گسسته را مورد بررسی قرار دادیم. اگر چه می توان با چندی سازی تمام فرایندهای پیوسته را به فرایندهای با دنباله مشاهدات گسسته تبدیل نمود، اما این کار ممکن است باعث افت مدل شود. در مدل HMM پیوسته احتمال قرار گرفتن مشاهدات در یک حالت را با توابع چگالی احتمال نشان می دهند. در این شرایط برای هر حالت i و ورودی O، احتمال مشاهده formula_50 به صورت یک توزیع شامل M مخلوط نشان داده می شود: formula_51 formula_52 مدل مخلوط گاوسی. مدل مخلوط گوسی یکی از مهمترین روش های مدل کردن سیگنال است که در واقع شبیه یک HMM یک حالته است که تابع چگالی احتمال آن حالت دارای چندین مخلوط نرمال می باشد. احتمال تعلق بردار آزمایشیd به یک مدل مخلوط گاوسی دارای M مخلوط به شکل زیر بیان می شود: formula_53 که در آن formula_54 وزن مخلوط formula_55 و formula_56به ترتیب بردار میانگین و ماتریس کوواریانس توزیع نرمال هستند. ماتریس کوواریانس مدل GMM معمولاً به صورت قطری در نظر گرفته می شود، گرچه امکان استفاده از ماتریس کامل نیز وجود دارد. برای به دست آوردن پارامترهای مدل GMM، شامل وزن مخلوط های گ
اوسی و میانگین و کواریانس توزیع ها، از الگوریتم ماکزیمم نمودن امید ریاضی(EM)استفاده می شود. باید توجه داشت که تعداد مخلوطهای گاوسی با تعداد نمونه های موجود آموزشی رابطه مستقیم دارند و نمی توان با مجموعه داده ای ناچیز یک مدل GMM دارای تعداد بیش از حد از مخلوطها را آموزش داد. در تشکیل و آموزش مدل GMM مانند تمام روش های تشکیل مدل رعایت نسبت میزان پیچیدگی مدل و نمونه های آموزشی الزامی می باشد. فرضیات تئوری مدل پنهان مارکوف. برای اینکه مدل پنهان مارکوف از لحاظ ریاضی و محاسباتی قابل بیان باشد فرضهای زیر در مورد آن در نظر گرفته می شود. ۱- فرض مارکوف با داشتن یک مدل پنهان مارکوف، احتمال انتقال از حالت i به حالت j به صورت زیر تعریف می شود: formula_57 به بیان دیگر فرض می شود که حالت بعدی تنها به حالت فعلی بستگی دارد. مدل حاصل از فرض مارکوف یک مدل HMM مرتبه صفر می باشد. در حالت کلی، حالت بعدی می تواند با k حالت قبلی وابسته باشد. این مدل که مدل HMM مرتبه k ام گفته می شود، با استفاده از احتمالات انتقال به صورت زیر تعریف می گردد. formula_58 به نظر می رسد که یک مدل HMM از مرتبه بالاتر باعث افزایش پیچیدگی مدل می شود. علی رغم
اینکه مدل HMM مرتبه اول متداول ترین مدل است، برخی تلاشها برای استفاده از مدل های دارای مرتبه بالاتر نیز در حال انجام می باشد. ۲- فرض ایستایی (stationarity) در اینجا فرض می شود که احتمال انتقال در بین حالات از زمان واقعی رخداد انتقال مستقل است. در این صورت می توان برا ی هر formula_59 نوشت formula_60 ۳- فرض استقلال خروجی در این حالت فرض می شود که خروجی (مشاهدات) فعلی به صورت آماری از خروجی قبلی مستقل است. می توان این فرض را با داشتن دنباله ای از خروجی ها مانند بیان نمود: formula_61 آنگاه مطابق با این فرض برای مدل HMM با نامformula_62 خواهیم داشت: formula_63 اگر چه بر خلاف دو فرض دیگر این فرض اعتبار کمتری دارد. در برخی حالات این فرضیه چندان معتبر نیست و موجب می شود که مدل HMM با ضعفهای عمده ای مواجه گردد. مسئله ارزیابی و الگوریتم پیشرو (forward). در این حالت مسئله این است که با داشتن مدل formula_64 و دنباله مشاهدات formula_65 باید مقدار formula_66 را پیدا نماییم. می توانیم این مقدار را با روش های آماری مبتنی بر پارامترها محاسبه نماییم. البته این کار به محاسباتی با پیچیدگی formula_67 احتیاج دارد. این تعداد محاسب
ات حتی برای مقادیر متوسط t نیز بسیار بزرگ است. به همین دلیل لازم است که راه دیگری برای این محاسبات پیدا نماییم. خوشبختانه روشی ارائه شده است که پیچیدگی محاسباتی کمی دارد و از متغیر کمکی formula_68 با نام متغیر پیشرو استفاده می کند.&gt; متغیر پیشرو به صورت یک احتمال از دنباله مشاهدات formula_69 تعریف می شود که در حالت i خاتمه می یابد. به بیان ریاضی: formula_70 آنگاه به سادگی مشاهده می شود که رابطه بازگشتی زیر برقرار است. formula_71 که در آن formula_72 با داشتن این رابطه بازگشتی می توانیم مقدار زیر را محاسبه نماییم. formula_73 و آنگاه احتمال formula_66 به صورت زیر محاسبه خواهد شد: formula_75 پیچیدگی محاسباتی روش فوق که به الگوریتم پیشرو معروف است برابر با formula_76 است، که در مقایسه با حالت محاسبه مستقیم که قبلاً گفته شد، و دارای پیچیدگی نمایی بود، بسیار سریعتر است. روشی مشابه روش فوق را می توان با تعیین متغیر پسرو، formula_77، به عنوان احتمال جزئی دنباله مشاهدات formula_78 در حالت i تعریف نمود. متغیر پیشرو را می توان به شکل زیر نمایش داد. formula_79 مانند روش پیشرو یک رابطه بازگشتی به شکل زیر برای محاسبه form
ula_77 وجود دارد. formula_81 که در آن formula_82 می توان ثابت کرد که formula_83 آنگاه می توان با کمک هر دو روش پیشرو و پسرو مقدار احتمال formula_66 را محاسبه نمود. formula_85 رابطه فوق بسیار مهم و مفید است و بخصوص برای استخراج روابط آموزش مبتنی بر گرادیان لازم می باشد. مسئله کد گشایی و الگوریتم ویتربی (Viterbi Algorithm). در این حالت می خواهیم با داشتن دنباله مشاهدات formula_86 و مدل formula_87 دنباله حالات بهینه formula_88 برای تولید formula_86 را به دست آوریم. یک راه حل این است که محتمل ترین حالت در لحظه t را به دست آوریم و تمام حالات را به این شکل برای دنبالهٔ ورودی به دست آوریم. اما برخی مواقع این روش به ما یک دنبالهٔ معتبر و بامعنا از حالات را نمی دهد. به همین دلیل، باید راهی پیدا کرد که یک چنین مشکلی نداشته باشد. در یکی از این روش ها که با نام الگوریتم Viterbi شناخته می شود، دنباله حالات کامل با بیشترین مقدار نسبت شباهت پیدا می شود. در این روش برای ساده کردن محاسبات متغیر کمکی زیر را تعریف می نماییم. formula_90 که در شرایطی که حالت فعلی برابر با i باشد، بیشترین مقدار احتمال برای دنباله حالات و دنباله مش
اهدات در زمان t را می دهد. به همین ترتیب می توان روابط بازگشتی زیر را نیز به دست آورد. formula_91 که در آن formula_92 به همین دلیل روال پیدا کردن دنباله حالات با بیشترین احتمال از محاسبهٔ مقدار formula_93 و با کمک رابطهٔ فوق شروع می شود. در این روش در هر زمان یک اشاره گر به حالت برنده قبلی خواهیم داشت. در نهایت حالت formula_94 را با داشتن شرط زیر به دست می آوریم. formula_95 و با شروع از حالت formula_94، دنباله حالات به شکل بازگشت به عقب و با دنبال کردن اشاره گر به حالات قبلی به دست می آید. با استفاده از این روش می توان مجموعه حالات مورد نظر را به دست آورد. این الگوریتم را می توان به صورت یک جستجو در گراف که نودهای آن برابر با حالتها مدل HMM در هر لحظه از زمان می باشند نیز تفسیر نمود مسئله یادگیری. به طور کلی مسئله یادگیری به این موضوع می پردازد که چگونه می توان پارامترهای مدل HMM را تخمین زد تا مجموعه داده های آموزشی به بهترین نحو به کمک مدل HMM برای یک کاربرد مشخص بازنمایی شوند. به همین دلیل می توان نتیجه گرفت که میزان بهینه بودن مدل HMM برای کاربردهای مختلف، متفاوت است. به بیان دیگر می توان از چندین معیار ب
هینه سازی متفاوت استفاده نمود، که از این بین یکی برای کاربرد مورد نظر مناسب تر است. دو معیار بهینه سازی مختلف برای آموزش مدل HMM وجود دارد که شامل معیار بیشترین شباهت (ML) و معیار ماکزیمم اطلاعات متقابل (Maximum Mutual Information (MMI)) می باشند. آموزش به کمک هر یک از این معیارها در ادامه توضیح داده شده است. معیار بیشترین شباهت((Maximum Likelihood (ML). در معیار ML ما سعی داریم که احتمال یک دنباله ورودی formula_97 که به کلاس w تعلق دارد را با داشتن مدل HMM همان کلاس به دست آوریم. این میزان احتمال برابر با نسبت شباهت کلی دنبالهٔ مشاهدات است و به صورت زیر محاسبه می شود. formula_98 با توجه به رابطه فوق در حالت کلی معیار ML به صورت زیر تعریف می شود. formula_99 اگر چه هیچ راه حل تحلیلی مناسبی برای مدل formula_100 وجود ندارد که مقدار formula_101 را ماکزیمم نماید، لیکن می توانیم با استفاده از یک روال بازگشتی پارامترهای مدل را به شکلی انتخاب کنیم که مقدار ماکزیمم به دست آید. روش Baum-Welch یا روش مبتنی بر گرادیان از جملهٔ این روش ها هستند. الگوریتم بام- ولش. این روش را می توان به سادگی و با محاسبه احتمال رخداد پارام
ترها یا با محاسبه حداکثر رابطه زیر بر روی formula_102 تعریف نمود. formula_103 یکی از ویژگی های مخصوص این الگوریتم این است که همگرایی در آن تضمین شده است. برای توصیف این الگوریتم که به الگوریتم پیشرو- پسرو نیز معروف است، باید علاوه بر متغیرهای کمکی پیشرو و پسرو که قبلاً تعریف شده اند، متغیرهای کمکی بیشتری تعریف شود. البته می توان این متغیرها را در قالب متغیرهای پیشرو و پسرو نیز تعریف نمود. اولین متغیر از این دست احتمال بودن در حالت i در زمان t و در حالت j در زمان t+1 است، که به صورت زیر تعریف می شود. formula_104 می توان این متغیر را با استفاده از متغیرهای پیشرو و پسرو به صورت زیر تعریف نمود. formula_105 متغیر دوم بیانگر احتمال پسین حالت i با داشتن دنباله مشاهدات و مدل پنهان مارکوف می باشد و به صورت زیر بیان می شود. formula_106 این متغیر را نیز می توان در قالب متغیرهای پیشرو و پسرو تعریف نمود. formula_107 رابطه بین دو متغیر فوق به صورت زیر بیان می شود. formula_108 اکنون می توان الگوریتم آموزش بام – ولش را با ماکزیمم کردن مقدار به دست آورد. اگر مدل اولیهٔ ما باشد، می توانیم متغیرهای پسرو و پیشرو و متغیرهای formu
la_109 و formula_110 را تعریف نمود. مرحلهٔ بعدی این است که پارامترهای مدل را با توجه به روابط بازتخمین زیر به روزرسانی کنیم. formula_111 formula_112 formula_113 فرمول های بازتخمین را می توان به راحتی به شکلی تغییر داد که با توابع چگالی پیوسته نیز قابل استفاده باشند. الگوریتم حداکثرسازی امید ریاضی (Expectation Maximization). الگوریتم حداکثرسازی امید ریاضی یا EM به عنوان یک نمونه از الگوریتم بام – ولش در آموزش مدل های HMM مورد استفاده قرار می گیرد. الگوریتم EM دارای دو فاز تحت عنوان Expectation و Maximization است. مراحل آموزش مدل در الگوریتم EM به صورت زیر است. روال فوق تا زمانی که میزان نسبت شباهت نسبت به مرحله قبل بهبود مناسبی داشته باشد ادامه می یابد. روش مبتنی بر گرادیان. در روش مبتنی بر گرادیان هر پارامترformula_121 از مدل formula_122با توجه به رابطه زیر تغییر داده می شود. formula_123 که در آن مقدار J با ید مینیمم شود. در این حالت خواهیم داشت. formula_124 از آنجا که مینیمم کردن J معادل است با مینیمم کردنformula_101نیاز است است تا معیار ML بهینه به دست آید. آنگاه مسئله، یافتن مقدار مشتقformula_126 برای تمام
پارامترهایformula_121از مدل است. این کار را می توان به سادگی با استفاده از مقدارformula_101 formula_129 با مشتق گرفتن از رابطهٔ قبل به این نتیجه دست می یابیم: formula_130 از آنجا که در رابطهٔ فوق مقدار formula_126 بر حسب formula_132 به دست می آید، می توان رابطه formula_126 به دست آورد. در روش مبتنی بر گرادیان، مقدار formula_132 را باید برای پارامترهای formula_135 (احتمال انتقال) و formula_136 (احتمال مشاهدات) به دست آورد. استفاده از مدل HMM در شناسایی گفتار. بحث شناسایی اتوماتیک گفتار را می توان از دو جنبه مورد بررسی قرار داد. مدل پنهان مارکوف (HMM) تلاشی است برای مدل سازی آماری دستگاه تولید گفتار و به همین دلیل به اولین دسته از روش های شناسایی گفتار تعلق دارد. در طول چندین سال گذشته این روش به عنوان موفقترین روش در شناسایی گفتار مورد استفاده قرار گرفته است. دلیل اصلی این مسئله این است که مدل HMM قادر است به شکل بسیار خوبی خصوصیات سیگنال گفتار را در یک قالب ریاضی قابل فهم تعریف نماید. در یک سیستم ASR مبتنی بر HMM قبل از آموزش HMM یک مرحله استخراج ویژگی ها انجام می گردد. به این ترتیب ورودی HMM یک دنباله گسسته
از پارامترهای برداری است. بردارهای ویژگی می تواند به یکی از دو طریق بردارهای چندی سازی شده یا مقادیر پیوسته به مدل HMM آموزش داده شوند. می توان مدل HMM را به گونه ای طراحی نمود که هر یک از این انواع ورودیها را دریافت نماید. مسئله مهم این است که مدل HMM چگونه با طبیعت تصادفی مقادیر بردار ویژگی سازگاری پیدا خواهد کرد. استفاده از HMM در شناسایی کلمات جداگانه. در حالت کلی شناسایی واحدهای گفتاری جدا از هم به کاربردی گفته می شود که در آن یک کلمه، یک زیر کلمه یا دنباله ای از کلمات به صورت جداگانه و به تنهایی شناسایی شود. باید توجه داشت که این تعریف با مسئله شناسایی گفتار گسسته که در آن گفتار به صورت گسسته بیان می شود متفاوت است. در این بین شناسایی کلمات جداگانه کاربرد بیشتری به نسبت دو مورد دیگر دارد و دو مورد دیگر بیشتر در عرصه مطالعات تئوری مورد بررسی قرار می گیرند. برای این کاربرد راه حلهای مختلفی وجود دارد زیرا معیارهای بهینه سازی متفاوتی را برای این منظور معرفی شده است و الگوریتمهای پیاده سازی شده مختلفی نیز برای هر معیار موجود است. این مسئله را از دو جنبه آموزش و شناسایی مورد بررسی قرار می دهیم. آموزش. فرض می
کنیم که فاز پیش پردازش سیستم دنباله مشاهدات زیر را تولید نماید: formula_137 پارامترهای اولیه تمام مدل های HMM را با یک مجموعه از مقادیر مشخص مقدار دهی می نماییم. formula_138 در آغاز این مسئله را برای حالت clamped در نظر بگیرید. از آنجایی که ما برای هر کلاس از واحدها یک HMM داریم، می توانیم مدلformula_139از کلاس l را که دنباله مشاهدات فعلی به آن مربوط می شود، را انتخاب نماییم. formula_140 برای حالت free نیز به مانند حالت قبل می توان مقدار نسبت شباهت را به دست آورد. formula_141 که در آن formula_142بیانگر میزان شباهت دنبالهٔ مشاهدات فعلی به کلاس l در مدلformula_143 است. شناسایی. در مقایسه با آموزش، روال شناسایی بسیار ساده تر است. الگوریتم دنبالهٔ مشاهدات موردنظر را دریافت می کند. formula_144 formula_145 در این حالت نرخ شناسایی به صورت نسبت بین واحدهای شناسایی صحیح به کل واحدهای آموزشی حساب می شود.
کیجی اینافونه و (زادهٔ ۸ مه ۱۹۶۵) تهیه کننده و گرافیست ژاپنی بازی های ویدئویی است. او پیش تر ریاست بخش تحقیق و توسعه تجارت آنلاین شرکت کپ کام را برعهده داشت. برجسته ترین طراحی گرافیکی او، طراحی شخصیت "مگا من" است. او همچنین تهیه کننده برخی مجموعه های دیگر شرکت کپ کام، همچون "اونیموشا" و "خیزش مرگ" نیز هست.
خیزش مرگ و ، یک بازی ویدئویی ژاپنی در سبک سورویوال هارور و اکشن-ماجراجویی است که توسط شرکت کپ کام، برای نخستین بار در ۸ اوت ۲۰۰۶ منتشر شد. این بازی به شکل اختصاصی، برای کنسول اکس باکس ۳۶۰ طراحی شده بود. این بازی نخستین قسمت در مجموعه بازی های "خیزش مرگ" محسوب می شود. کارگردانی این بازی را یوشینوری کاوانو و تهیه کنندگی آن را کیجی اینفونه برعهده دارند. به عنوان بخشی از دهمین سالگرد این مجموعه، "خیزش مرگ" در سپتامبر ۲۰۱۶ برای مایکروسافت ویندوز، پلی استیشن ۴ و اکس باکس وان منتشر شد. داستان این بازی پیرامون شخصیتی به نام فرانک وست و مکان شکل گیری داستان ها، شهر کلرادو است که توسط زامبی ها تسخیر شده است.
انتخاب ازهم گسیخته یا انتخاب برهم زننده که نام دیگرش انتخاب تنوع شدن است، تغییرهایی در ژنتیک جمعیت را شرح می دهد که در آن ها مقادیر انتهایی برای یک فنوتیپ قابل توجه تر از مقادیر میانی هستند. در این مسئله واریانس فنوتیپ افزایش پیدا کرده و جمعیت به دو گروه مجزا تقسیم می شود. به نظر می رسد که این روند تکامل محرک اجباری برای گونه زایی است. نمونه. جمعیتی از خرگوش ها را فرض کنید که رنگ خزهای آن ها شامل دو رنگ غیرغالب سیاه و سفید می شود. خزهای سیاه را با B و خز سفید را با b نمایش می دهیم. خرگوشی با ژنوتیپ BB دارای فنوتیپ خز سیاه و خرگوشی با ژنوتیپ Bb دارای خز خاکستری (تلفیق خزهای سیاه و سفید خاکستری دیده می شود) و ژنوتیپ bb دارای خز سفید است. اگر این جمعیت خرگوش ها را در منطقه ای قرار دهیم که سنگ های آن یا بسیار سیاه هستند یا بسیار سفید، خرگوش های سیاه در میان سنگ های سیاه از دید دشمنان در امان خواهند بود و خرگوش های سفید هم به طور مشابه در میان سنگ های سفید. اما خرگوش های خاکستری در میان هر دو دسته سنگ نمایان هستند، در نتیجه بیشتر از دیگر خرگوش ها در معرض شکار دشمنان خواهند بود. در نتیجهٔ فشار محیط پیرامونی، جمعیت