زنجیره مارکوف جذب‌کننده
در نظریه احتمال،زنجیره مارکوف جذب کننده، زنجیره مارکوفی است که در آن هر حالت می‌تواند به یک حالت جاذب برسد. حالت جاذب حالتی است که پس از وارد شدن به آن نمی‌توان از آن خارج شد.
مثل زنجیره مارکف عمومی، می‌توان زنجیره مارکوف جاذب پیوسته زمان با فضای حالت نامحدود داشت. در این مقاله بر روی زمان گسسته فضای حالت گسسته متمرکز می‌شویم.
یک زنجیره مارکوف، جاذب است اگر در یک زنجیره مارکوف جاذب، حالتی که جاذب نباشد گذرا (حالت گذرا) نامیده می‌شود.
فرض کنید که یک زنجیره مارکوف جاذب با ماتریس انتقال formula_1 دارای formula_2 حالت گذرا و formula_3 حالت جاذب باشد. سپس که در آن formula_5 ماتریسی formula_6، ماتریس formula_7 یک ماتریس غیرصفر formula_8 و formula_9 یک ماتریس صفر formula_10 و formula_11 ماتریس همانی formula_12 باشد؛ بنابراین formula_5 احتمال انتقال از یک حالت گذرا به حالت گذرای دیگر در حالی که formula_7 احتمال انتقال از حالت گذرا به حالت جاذب را توصیف می‌کند.
یک ویژگی اصلی در مورد یک زنجیره مارکوف جاذب تعداد مورد انتظار بازدیدهای حالت گذاری formula_15 با شروع از حالت گذرای formula_16 (قبل از اینکه جذب شود) است. احتمال انتقال از formula_16 به formula_15 در دقیقاً formula_19 مرحله عنصر formula_20 از ماتریس formula_21 است. جمع این آرایه برای تمام formula_19 (از formula_9 تا formula_24) ماتریس اساسی formula_25 را نشان خواهد داد. اثبات رابطه زیر ساده است: که در آن formula_27 ماتریس همانی formula_6 است. درایه formula_20 ماتریس formula_25، تعداد مورد انتظار دفعاتی است که زنجیره در حالت formula_15 خواهد بود با این شرط که از حالت formula_16 شروع شده باشد. با داشتن ماتریس formula_25، خواص دیگر زنجیره مارکوف را می‌توان راحت به دست آورد.
واریانس تعداد بازدیدهای حالت گذرای formula_15 با شروع از حالت گذرای formula_16 (قبل از اینکه جذب شود) درایه formula_20 ماتریس است، که در آن formula_38 ماتریس قطری است با قطر مشابه ماتریس formula_25 و formula_40 حاصل ضرب هادامار formula_25 با خودش است (یعنی هر درایه formula_25 مربع خواهد شد).
امید تعداد مراحل قبل از جذب با شروع از حالت گذرای formula_16 برابر است با formula_2 امین عنصر بردار که formula_46 بردار ستونی با طول formula_2 است که تمام عناصرش ۱ می‌باشد.
واریانس تعداد مراحل قبل از جذب با شروع از حالت گذرای formula_16 برابر است با formula_2 امین عنصر بردار که در آن formula_51 حاصلضرب هادامار formula_2 با خودش است (یعنی هر درایه formula_2 مربع خواه شد).
احتمال بازدید حالت گذرای formula_15 با شروع از حالت گذرای formula_16 درایه formula_20 ماتریس زیر است:
ویژگی دیگر احتمال جذب شدن در حالت جاذب formula_15 است با فرض شروع از حالت گذرای formula_16، که درایه formula_20 ماتریس زیر است:
فرایند پرتاب مکرر یک سکه عادی تا تولید توالی از (H,T,H)ها را در نظر بگیرید. این فرایند را با یک زنجیره مارکوف جاذب مدل می‌کنیم. ماتریس انتقال این زنجیره به این صورت است:
حالت اول نشان دهنده توالی تهی است، حالت دوم توالی "H" است، حالت سوم توالی "HT" و حالت چهارم توالی "HTH" می‌باشد. اگر چه در واقعیت، پس از تولید توالی "HTH" پرتاب سکه متوقف می‌شود، زنجیره مارکوف جاذب این است که فرایند به حالت جاذب نمایانگر توالی "HTH" انتقال یافته و نمی‌تواند از این حالت خارج شود.
برای این زنجیره مارکوف جاذب، ماتریس اساسی به این صورت است: امید تعداد مراحل با شروع از هر حالت گذرا: بنابراین امید تعداد پرتاب‌های سکه قبل از مشاهده توالی (H,T,H) برابر formula_65 است، درایه حالت رشته تهی را نشان می‌دهد.
بازی‌های کاملاً شانسی را می‌توان با زنجیره مارکوف جاذب مدل کرد. به عنوان مثال بازی تخته‌ای مار و پله هند باستان. نمودار سمت راست جرم احتمال جرم در تنها جذب دولت است که نشان دهنده نهایی مربع به عنوان ماتریس گذار مطرح شده‌است به بزرگتر و بزرگتر قدرت. برای تعیین امید تعداد نوبت‌ها برای اتمام بازی، بردار formula_2 را محاسبه کنید و formula_67 را بررسی کنید، که به صورت تقریبی formula_68 است.