שרשרת מרקוב
שימושים לשרשראות מרקוב > בפיזיקה

מודל ארנפסט:
מודל המתאר את הדיפוזיה של  N חלקיקים בין שני מכלים זהים. המודל מתאר זאת כתהליך לידה ומוות מרקובי בעל  N+1 מצבים וההנחה שלכל היותר מעבר יחיד מתרחש בכל צעד. הסתברות המעבר מהמצב ה i למצב ה i+1 היא  P_{i,i+1}=(N-i)\lambda  והסתברות המעבר מהמצב ה i למצב ה i-1  היא  P_{i,i-1}=i\lambda  כאשר  \lambda  הוא קצב החלפת המכל של חלקיק.
כאשר אנחנו במצב שיווי משקל התהליך הפיך ולכן נדרוש קיום של תנאי האיזון המפורט. כלומר ש P_{i,j}\pi _{i}=P_{j,i}\pi _{j} נקבל ש P_{i,i+1}\pi _{i}=P_{i+1,i}\pi _{i+1} ממשוואה זו נקבל באינדוקציה כי  \pi _{i}={\binom {N}{i}}\pi _{0}
מכיוון שאנחנו דורשים שהווקטור יתאר התפלגות הסתברות נדרוש כי  \sum _{i=0}^{N}\pi _{i}=1 על ידי שימוש בנוסחא  2^{n}=\sum _{k=0}^{n}{n \choose k} נקבל כי  \pi _{i}=2^{-N}{N \choose i}. כאשר  \pi _{i} ייצג את פרק הזמן היחסי שבו יהיו במכל  i חלקיקים. באופן דומה ניתן להתייחס לכמות הכדורים בכל מכל כאל טמפרטורת המכל ובכך לקבל תיאור סטטיסטי של מעבר חום במקום תיאור קלאסי. עקב העובדה שהשרשרת במודל זה הם מחזוריים (בעלי מחזור 2) וקטור ההתפלגות אינו יתכנס להתפלגות הסטציונרית ללא תלות במצב ההתחלתי אלא יבצע תנודות סביבה. למרות זאת בשנת 1947 הוכיח מארק קארק כי עבור מצב התחלתי השונה ממצב שיווי המשקל מתקיים כי האנטרופיה מונוטונית עולה (תאוריית H). ובכך בעצם המודל מהווה הסבר לחוק השני של התרמודינמיקה ופותר את הפרדוקס הנוצר מההפיכות המיקרוסקופית הנובעת מחוקי ניוטון לבין החוק השני של התרמודינמיקה. מודל דומה נוסף הוא מודל ברנולי לפלס המאפשר מהלך ללא מעבר של חלקיקים בין המכלים ובכך יוצרים שרשרת בלתי פריקה לא מחזורית ובכך מתקיים שוקטור ההתפלגות במודל זה יתכנס לוקטור ההתפלגות הסטציונרית ללא תלות במצב ההתחלתי. גם במודלים הללו האנטרופיה מקסימלית עבור ההתפלגות הסטציונרית והם מהווים הסבר לחוק השני. בנוסף במודלים הללו ניתן להשתמש בקשר  \pi _{i}={\frac {1}{E_{i}}} על מנת להראות שתוחלת זמן החזרה למצבים הרחוקים ממצב שיווי משקל במערכות רב חלקיקיות גדולה בהרבה מהזמנים המאפיינים ניסויים ולהסיק מכך שניתן באופן פרקטי להתעלם ממשפט ההישנות של פואנקרה.
Markov chain Monte Carlo:
Markov chain Monte Carlo או בקצרה MCMC הם סוג של אלגוריתמים המיועדים לדגימת התפלגות הסתברות. על ידי יצירת שרשרת מרקוב בעלת התפלגות סטציונרית השווה לפונקציה ידועה הפרופורציונית להתפלגות ההסתברות ניתן לדגום את ההסתברות עצמה גם אם היא אינה ידועה ובאמצעות הדגימות ניתן לבצע קירוב של התפלגות ההסתברות. בנוסף ניתן להשתמש בדגימות על מנת להעריך גדלים אותם אנו מעוניינים לחשב.
דוגמה לצורך באלגוריתם מסוג זה היא בחישוב התפלגות בולצמן על ידי שימוש באלגוריתם מטרופוליס. ידוע שעבור מערכת קנונית ההסתברות של חלקיק להמצא במצב  i נתונה על ידי  p_{i}={\frac {\exp(-E_{i}/k_{B}T)}{Z}} - כאשר  Z=\sum _{i}\exp \left({\frac {-E_{i}}{k_{B}T}}\right). אם מספר המצבים האפשרים קטן, ניתן למצוא את Z על ידי סכימה ישירה, אך כיוון שמספר המצבים האפשרי גדל אקספוננציאלית כתלות במספר החלקיקים לרוב לא יהיה ניתן לבצע זאת. לעומת זאת ניתן להגדיר שרשרת מרקוב המקיימת  P_{i,j}={min{\biggl (}e^{E(X_{i})-E(X_{j}) \over K_{b}T},1{\biggl )} \over \left\vert N(i)\right\vert } עבור  j\in N(i) כאשר  N(i) היא סביבת המצבים של  i אשר ההבדל בין המצבים הוא חלקיק יחיד. בדומה לאלגוריתם מונטה קרלו המצב ה j יבחר באופן אחיד מתוך  N(i). לבסוף על מנת שהשרשרת תהיה לא מחזורית נגדיר  P_{i,i}=1-\sum _{j\in N(i)}P_{i,j}. כעת בזכות העובדה שזוהי שרשרת מרקוב ניתן להבטיח שההתפלגות תשאף להתפלגות הסטציונרית ללא תלות בבחירה ההתחלתית ולכן ניתן לבחור מצב  i התחלתי כללי (על מנת לעשות זאת באופן נומרי צריך לספור את מספר הביקורים עבור כל מצב ולחלק במספר הביקורים הכולל בסך כל המצבים). בנוסף ניתן לראות שהתהליך שבחרנו הוא תהליך הפיך שכן תנאי האיזון המפורט מתקיים.
שרשראות מרקוב בזמן רציף:
מודלים פיזקלים רבים מהווים למעשה שרשראות מרקוב בזמן רציף. עבור שרשראות מרקוב בזמן רציף ניתן לחשב - בהתאם לקצבי המעבר וההגעה את המטריצה היוצרת האינפיניטיסמלית ובאמצעותה להגיע למערכת משוואות דיפרנציאליות. מודלים מסוג זה כוללים את התנועה הבראונית ואת משוואת המסטר. על ידי מעבר לגבול הרצף (כלומר, הגבול בו המצבים הבדידים בשרשרת המרקוב הופכים לרציפים) ניתן לפתח מתוך משוואת המסטר את משוואות קולמגרוב ומשוואת פוקר פלאנק. בנוסף על ידי שימוש בתנאי האיזון המפורט עבור משוואת פוקר פלנק ניתן להסיק את יחס איינשטיין.