**משחק סטוכסטי** הוא מושג בתורת המשחקים המשמש לתיאור משחק דינמי עם מעברים הסתברותיים, בו משחק אדם אחד או יותר. המשחק משוחק ברצף של שלבים, כאשר בכל שלב השחקנים מבצעים פעולות. כל שחקן מקבל ניקוד על-פי המצב הנוכחי ועל פי הפעולות שנעשו עד לנקודה זו במשחק. לאחר ביצוע פעולה, המשחק עובר למצב אקראי חדש, שההתפלגות שלו תלויה במצב הקודם ובמהלכים ששוחקו. התהליך חוזר על עצמו עד למספר סופי או אינסופי של שלבים. התגמול הכולל לשחקן מחושב במרבית המקרים, כסכום המנוכה של תגמולי השלב או כגבול התחתון של ממוצע תגמולי השלב. המשחק הסטוכסטי הוצג לראשונה על ידי לויד שפלי בתחילת שנות ה-50 של המאה ה-20.

משחקים סטוכסטיים הם הכללה של תהליכי החלטה מרקוביים ומשחקים חוזרים.

משחקי שני שחקנים
----------------

משחקי שני שחקנים המשתמשים בגרפים מכוונים נועדו במקרים רבים עבור מידול ואנליזה של מערכות בדידות הפועלות בסביבה יריבנית (אדברסרית) בלתי ידועה. קונפיגורציות אפשריות של המערכת וסביבתה מוצגות כצמתים בגרף, והמעברים מתואמים לפעולות של המערכת, לסביבתה או ל"טבע" שלה. הרצה של המערכת לאחר מכן שקולה למסלול אינסופי בגרף. אפשר לראות את המערכת וסביבתה כשני שחקנים עם מטרות מנוגדות, כאשר שחקן אחד (המערכת) שואף למקסם את ההסתברות של ריצות "טובות", בזמן של השחקן האחר (הסביבה) בעל שאיפות מנוגדות.

במקרים רבים, קיים ערך שיווי-משקל של הסתברות זו, אך ייתכן כי אסטרטגיות אופטימליות עבור שני השחקנים לא יהיו קיימות.

אנו נציג קונספטים בסיסיים ושאלות אלגוריתמיות שנלמדו בתחום זה, ונציין כמה בעיות פתוחות ארוכות שנים. לאחר מכן, נציין תוצאות עדכניות נבחרות.

תאוריה
------

הרכיבים של משחק סטוכסטי הם:

* קבוצה סופית של שחקנים I
* מרחב מצב M (אשר מהווה קבוצה סופית או מרחב הניתן למדידה {\displaystyle (M,{\mathcal {A}})})
* עבור כל שחקן i\in I, קבוצת פעולה {\displaystyle S^{i}}{\displaystyle (S^{i},{\mathcal {S}}^{i})})
* הסתברות מעבר P מ- {\displaystyle M\times S}, כאשר {\displaystyle S=\times \_{i\in I}S^{i}} הם פרופילי הפעולה, ל- M, כאשר {\displaystyle P(A\mid m,s)} הנה ההסתברות שהמצב הבא יהיה A בהינתן שהמצב הנוכחי הוא m ופרופיל הפעולה הנוכחית הוא s.
* פונקציית תגמול g מ-{\displaystyle M\times S} ל-{\displaystyle R^{I}}, כאשר קואורדינטת ה- i של g, {\displaystyle g^{i}}, מייצגת את התגמול לשחקן i כפונקציה של המצב m ופרופיל הפעולה s.

המשחק מתחיל במצב התחלתי מסוים m\_{1}. בשלב t, השחקנים צופים ראשית ב- {\displaystyle m\_{t}}. לאחר מכן הם בוחרים בו-זמנית פעולות {\displaystyle s\_{t}^{i}\in S^{i}}, ואחר-כך הם צופים בפרופיל הפעולה {\displaystyle s\_{t}=(s\_{t}^{i})\_{i}}, ואז הטבע בוחר {\displaystyle m\_{t+1}} לפי הסתברות {\displaystyle P(\cdot \mid m\_{t},s\_{t})}. מהלך של המשחק הסטוכסטי, {\displaystyle m\_{1},s\_{1},\ldots ,m\_{t},s\_{t},\ldots } מגדיר זרם של תגמולים {\displaystyle g\_{1},g\_{2},\ldots }, כאשר {\displaystyle g\_{t}=g(m\_{t},s\_{t})}.

המשחק המנוכה Γλ עם מקדם הניכיון \lambda  ({\displaystyle 0<\lambda \leq 1}) הוא המשחק אשר התגמול לשחקן i הוא {\displaystyle \lambda \sum \_{t=1}^{\infty }(1-\lambda )^{t-1}g\_{t}^{i}}. משחק שלב ה-n הוא המשחק אשר התגמול לשחקן i הוא {\displaystyle {\bar {g}}\_{n}^{i}:={\frac {1}{n}}\sum \_{t=1}^{n}g\_{t}^{i}}.

הערך (*vn(m1, ו- ( vλ(m1* בהתאמה, של משחק סטוכסטי סכום-אפס של שני שחקנים *n*Γ, ו- Γλ  בהתאמה, עם מצבים ופעולות סופיים קיים, וטרומן בוולי ואילון קולברג (1967) הוכיחו כי *( vλ(m1* מתכנס לגבול כאשר n שואף לאינסוף. כמו כן, הם הוכיחו כי *( vλ(m1* מתכנס לאותו הגבול כאשר λ שואף ל-0. המשחק "הבלתי מנוכה", {\displaystyle \Gamma \_{\infty }}הוא משחק אשר התגמול לשחקן iהוא ה-"גבול" של ממוצע תגמולי השלב. צריך לנקוט בכמה אמצעי זהירות בהגדרת הערך של {\displaystyle \Gamma \_{\infty }} של שני-שחקנים בעל סכום-אפס, ובהגדרת תגמולים שיווי-משקליים של {\displaystyle \Gamma \_{\infty }} שאינו בעל סכום-אפס. הערך האחיד {\displaystyle v\_{\infty }} של משחק סטוכסטי סכום-אפס בעל שני-שחקנים {\displaystyle \Gamma \_{\infty }} מתקיים אם עבור כל \varepsilon>0 ישנו מספר חיובי ושלם Nוזוג אסטרטגי: {\displaystyle \sigma \_{\varepsilon }} של שחקן מס' 1 ו- {\displaystyle \tau \_{\varepsilon }} של שחקן מס' 2, כך שעבור כל \sigma  ן- \tau וכל {\displaystyle n\geq N} התוחלת של {\displaystyle {\bar {g}}\_{n}^{i}} המתייחסת להסתברות במהלכים שמוגדרים על ידי {\displaystyle \sigma \_{\varepsilon }} ו- \tau הנה לפחות {\displaystyle v\_{\infty }-\varepsilon }, והתוחלת של {\displaystyle {\bar {g}}\_{n}^{i}} המתייחסת להסתברות במהלכים המוגדרים על ידי {\displaystyle \sigma } ו- {\displaystyle \tau \_{\varepsilon }} היא לכל היותר {\displaystyle v\_{\infty }+\varepsilon }. ז'אן פרנסואה מרטנס ואברהם נוימן (1981) הוכיחו שלכל משחק סטוכסטי לשני-שחקנים בעל סכום-אפס עם מצבים ופעולות סופיים, קיים ערך אחיד. 

אם ישנו מספר סופי של שחקנים וקבוצות הפעולה וקבוצת המצבים הם סופיים, אזי למשחק סטוכסטי עם מספר סופי של שלבים תמיד יהיה שיווי משקל נאש. אותו הדבר נכון עבור משחק עם אינסוף שלבים אם התגמול הכולל הוא הסכום המנוכה.למשחק הסטוכסטי {\displaystyle \Gamma \_{\infty }} שאינו בעל סכום-אפס יש תגמול שיווי-משקלי אחיד {\displaystyle v\_{\infty }} אם עבור כל \varepsilon>0ישנו מספר חיובי ושלם N ופרופיל אסטרטגי \sigma כך שעבור כל סטייה חד-צדדית הנעשית על ידי שחקן i, (כלומר, פרופיל אסטרטגי \tau עם {\displaystyle \sigma ^{j}=\tau ^{j}} עבור כל {\displaystyle j\neq i}, וכל {\displaystyle n\geq N} התוחלת של {\displaystyle {\bar {g}}\_{n}^{i}}המתייחסת להסתברות במהלכים המוגדרים על ידי \sigma  הנה לפחות {\displaystyle v\_{\infty }^{i}-\varepsilon }, והתוחלת של {\displaystyle {\bar {g}}\_{n}^{i}}המתייחסת להסתברות במהלכים המוגדרים על ידי \tau הנה לכל היותר {\displaystyle v\_{\infty }^{i}+\varepsilon } וייל הראה שמשחקים סטוכסטיים בעלי שני-שחקנים עם מצב סופי ומרחבי פעולה יש תגמול שיווי-משקל אחיד.

למשחק הסטוכסטי שאינו בעל סכום-אפס יש תגמול שיווי-משקלי ממוצע מוגבל אם עבור כל \varepsilon>0 יש פרופיל אסטרטגי \sigma  כך שעבור כל סטייה חד-צדדית הנעשית על ידי שחקן i, התוחלת של הגבול התחתון של ממוצע תגמולי השלב המתייחסת להסתברות במהלכים המוגדרים על ידי \sigma היא לפחות {\displaystyle v\_{\infty }^{i}-\varepsilon }, והתוחלת של הגבול העליון של תגמול ממוצע השלב המתייחסת להסתברות במהלכים המוגדרים על ידי \tau הנה לכל היותר {\displaystyle v\_{\infty }+\varepsilon }. ז'אן פרנסואה מרטנס ואברהם נוימן הוכיחו (1981) כי לכל משחק סטוכסטי שהוא סכום-אפס בעל שני שחקנים עם מצבים ופעולות סופיים רבים ישנו ערך ממוצע מוגבל, וניקולה וייל הראה שלכל המשחקים הסטוכסטיים בעלי שני שחקנים עם מצב ומרחבי פעולה סופיים יש תגמול שיווי-משקלי ממוצע מוגבל. במיוחד, התוצאות הללו מביעות שלמשחקים הללו יש ערך ותגמול שיווי-משקל מקורב, הנקרא תגמול שיווי-משקלי בעל ממוצע גבול-תחתון (ובהתאמה, בעל ממוצע גבול-עליון), כשאר התגמול הכולל הוא הגבול התחתון (או הגבול העליון) של ממוצע תגמולי השלב. שאלה שנותרה פתוחה היא האם לכל משחק סטוכסטי עם מס' שחקנים, מצבים ופעולות רבים וסופיים ישנו תגמול שיווי-משקל אחיד, או תגמול שיווי-משקל ממוצע מגדל, או אפילו תגמול שיווי-משקל בעל ממוצע גבול-תחתון. שיווי המשקל המושלם של מרקוב הוא עיבוד תת-משחקי משוכלל של הקונספט של שיווי משקל נאש עבור משחקים סטוכסטיים.

יישומים
-------

למשחקים סטוכסטיים יש יישומים בכלכלה, ביולוגיה אבולוציונית ורשתות מחשבים. הם מהווים הכללות של משחקים חוזרים שמתאימים למקרה מיוחד שבו יש מצב אחד בלבד.

ראו גם
------

* תהליך סטוכסטי

לקריאה נוספת
------------

* Condon, A. (1992). "The complexity of stochastic games". *Information and Computation*. **96**: 203–224. doi:10.1016/0890-5401(92)90048-K.
* H. Everett (1957). "Recursive games". In Melvin Dresher, Albert William Tucker, Philip Wolfe (ed.). *Contributions to the Theory of Games, Volume 3*. Annals of Mathematics Studies. Princeton University Press. pp. 67–78. ISBN 978-0-691-07936-3. (Reprinted in Harold W. Kuhn, ed. *Classics in Game Theory*, Princeton University Press, 1997. מסת"ב 978-0-691-01192-9).`{{cite book}}`: תחזוקה - ציטוט: multiple names: editors list (link)
* Filar, J.; Vrieze, K. (1997). *Competitive Markov Decision Processes*. Springer-Verlag. ISBN 0-387-94805-8.
* Mertens, J. F.; Neyman, A. (1981). "Stochastic Games". *International Journal of Game Theory*. **10** (2): 53–66. doi:10.1007/BF01769259.
* Neyman, A.; Sorin, S. (2003). "Stochastic Games and Applications". *Kluwer Academic Press*. Dordrecht. ISBN 1-4020-1492-9.
* Shapley, L. S. (1953). "Stochastic games". *PNAS*. pp. 1095–1100. doi:10.1073/pnas.39.10.1095.
* Vieille, N. (2002). "Stochastic games: Recent results". *Handbook of Game Theory*. Amsterdam: Elsevier Science. pp. 1833–1850. ISBN 0-444-88098-4.
* Yoav Shoham; Kevin Leyton-Brown (2009). *Multiagent systems: algorithmic, game-theoretic, and logical foundations*. Cambridge University Press. pp. 153–156. ISBN 978-0-521-89943-7. (suitable for undergraduates; main results, no proofs)

קישורים חיצוניים
----------------

* הרצאה על משחקים סטוכסטיים עם שני שחקנים מאת אנטונין קוסרה

הערות שוליים
------------

1. ↑  Constrained Stochastic Games in Wireless Networks by E.Altman, K.Avratchenkov, N.Bonneau, M.Debbah, R.El-Azouzi, D.S.Menasche