משחק סטוכסטי

משחק סטוכסטי הוא מושג בתורת המשחקים המשמש לתיאור משחק דינמי עם מעברים הסתברותיים, בו משחק אדם אחד או יותר. המשחק משוחק ברצף של שלבים, כאשר בכל שלב השחקנים מבצעים פעולות. כל שחקן מקבל ניקוד על-פי המצב הנוכחי ועל פי הפעולות שנעשו עד לנקודה זו במשחק. לאחר ביצוע פעולה, המשחק עובר למצב אקראי חדש, שההתפלגות שלו תלויה במצב הקודם ובמהלכים ששוחקו. התהליך חוזר על עצמו עד למספר סופי או אינסופי של שלבים. התגמול הכולל לשחקן מחושב במרבית המקרים, כסכום המנוכה של תגמולי השלב או כגבול התחתון של ממוצע תגמולי השלב. המשחק הסטוכסטי הוצג לראשונה על ידי לויד שפלי בתחילת שנות ה-50 של המאה ה-20. משחקים סטוכסטיים הם הכללה של תהליכי החלטה מרקוביים ומשחקים חוזרים. משחקי שני שחקנים המשתמשים בגרפים מכוונים נועדו במקרים רבים עבור מידול ואנליזה של מערכות בדידות הפועלות בסביבה יריבנית (אדברסרית) בלתי ידועה. קונפיגורציות אפשריות של המערכת וסביבתה מוצגות כצמתים בגרף, והמעברים מתואמים לפעולות של המערכת, לסביבתה או ל"טבע" שלה. הרצה של המערכת לאחר מכן שקולה למסלול אינסופי בגרף. אפשר לראות את המערכת וסביבתה כשני שחקנים עם מטרות מנוגדות, כאשר שחקן אחד (המערכת) שואף למקסם את ההסתברות של ריצות "טובות", בזמן של השחקן האחר (הסביבה) בעל שאיפות מנוגדות. במקרים רבים, קיים ערך שיווי-משקל של הסתברות זו, אך ייתכן כי אסטרטגיות אופטימליות עבור שני השחקנים לא יהיו קיימות. אנו נציג קונספטים בסיסיים ושאלות אלגוריתמיות שנלמדו בתחום זה, ונציין כמה בעיות פתוחות ארוכות שנים. לאחר מכן, נציין תוצאות עדכניות נבחרות. הרכיבים של משחק סטוכסטי הם: קבוצה סופית של שחקנים I {\displaystyle I} מרחב מצב M {\displaystyle M} (אשר מהווה קבוצה סופית או מרחב הניתן למדידה ( M , A ) {\displaystyle (M,{\mathcal {A}})} ) עבור כל שחקן i ∈ I {\displaystyle i\in I} , קבוצת פעולה S i {\displaystyle S^{i}} ( S i , S i ) {\displaystyle (S^{i},{\mathcal {S}}^{i})} ) הסתברות מעבר P {\displaystyle P} מ- M × S {\displaystyle M\times S} , כאשר S = × i ∈ I S i {\displaystyle S=\times _{i\in I}S^{i}} הם פרופילי הפעולה, ל- M {\displaystyle M} , כאשר P ( A ∣ m , s ) {\displaystyle P(A\mid m,s)} הנה ההסתברות שהמצב הבא יהיה A {\displaystyle A} בהינתן שהמצב הנוכחי הוא m {\displaystyle m} ופרופיל הפעולה הנוכחית הוא s {\displaystyle s} . פונקציית תגמול g {\displaystyle g} מ- M × S {\displaystyle M\times S} ל- R I {\displaystyle R^{I}} , כאשר קואורדינטת ה- i {\displaystyle i} של g {\displaystyle g} , g i {\displaystyle g^{i}} , מייצגת את התגמול לשחקן i {\displaystyle i} כפונקציה של המצב m {\displaystyle m} ופרופיל הפעולה s {\displaystyle s} . המשחק מתחיל במצב התחלתי מסוים m 1 {\displaystyle m_{1}} . בשלב t {\displaystyle t} , השחקנים צופים ראשית ב- m t {\displaystyle m_{t}} . לאחר מכן הם בוחרים בו-זמנית פעולות s t i ∈ S i {\displaystyle s_{t}^{i}\in S^{i}} , ואחר-כך הם צופים בפרופיל הפעולה s t = ( s t i ) i {\displaystyle s_{t}=(s_{t}^{i})_{i}} , ואז הטבע בוחר m t + 1 {\displaystyle m_{t+1}} לפי הסתברות P ( ⋅ ∣ m t , s t ) {\displaystyle P(\cdot \mid m_{t},s_{t})} . מהלך של המשחק הסטוכסטי, m 1 , s 1 , … , m t , s t , … {\displaystyle m_{1},s_{1},\ldots ,m_{t},s_{t},\ldots } מגדיר זרם של תגמולים g 1 , g 2 , … {\displaystyle g_{1},g_{2},\ldots } , כאשר g t = g ( m t , s t ) {\displaystyle g_{t}=g(m_{t},s_{t})} . המשחק המנוכה Γλ עם מקדם הניכיון λ {\displaystyle \lambda } ( 0 < λ ≤ 1 {\displaystyle 0<\lambda \leq 1} ) הוא המשחק אשר התגמול לשחקן i הוא λ ∑ t = 1 ∞ ( 1 − λ ) t − 1 g t i {\displaystyle \lambda \sum _{t=1}^{\infty }(1-\lambda )^{t-1}g_{t}^{i}} . משחק שלב ה-n הוא המשחק אשר התגמול לשחקן i הוא g ¯ n i := 1 n ∑ t = 1 n g t i {\displaystyle {\bar {g}}_{n}^{i}:={\frac {1}{n}}\sum _{t=1}^{n}g_{t}^{i}} . הערך (vn(m1, ו- ( vλ(m1 בהתאמה, של משחק סטוכסטי סכום-אפס של שני שחקנים nΓ, ו- Γλ בהתאמה, עם מצבים ופעולות סופיים קיים, וטרומן בוולי ואילון קולברג (1967) הוכיחו כי ( vλ(m1 מתכנס לגבול כאשר n שואף לאינסוף. כמו כן, הם הוכיחו כי ( vλ(m1 מתכנס לאותו הגבול כאשר λ שואף ל-0. המשחק "הבלתי מנוכה", Γ ∞ {\displaystyle \Gamma _{\infty }} הוא משחק אשר התגמול לשחקן i {\displaystyle i} הוא ה-"גבול" של ממוצע תגמולי השלב. צריך לנקוט בכמה אמצעי זהירות בהגדרת הערך של Γ ∞ {\displaystyle \Gamma _{\infty }} של שני-שחקנים בעל סכום-אפס, ובהגדרת תגמולים שיווי-משקליים של Γ ∞ {\displaystyle \Gamma _{\infty }} שאינו בעל סכום-אפס. הערך האחיד v ∞ {\displaystyle v_{\infty }} של משחק סטוכסטי סכום-אפס בעל שני-שחקנים Γ ∞ {\displaystyle \Gamma _{\infty }} מתקיים אם עבור כל ε > 0 {\displaystyle \varepsilon >0} ישנו מספר חיובי ושלם N {\displaystyle N} וזוג אסטרטגי: σ ε {\displaystyle \sigma _{\varepsilon }} של שחקן מס' 1 ו- τ ε {\displaystyle \tau _{\varepsilon }} של שחקן מס' 2, כך שעבור כל σ {\displaystyle \sigma } ן- τ {\displaystyle \tau } וכל n ≥ N {\displaystyle n\geq N} התוחלת של g ¯ n i {\displaystyle {\bar {g}}_{n}^{i}} המתייחסת להסתברות במהלכים שמוגדרים על ידי σ ε {\displaystyle \sigma _{\varepsilon }} ו- τ {\displaystyle \tau } הנה לפחות v ∞ − ε {\displaystyle v_{\infty }-\varepsilon } , והתוחלת של g ¯ n i {\displaystyle {\bar {g}}_{n}^{i}} המתייחסת להסתברות במהלכים המוגדרים על ידי σ {\displaystyle \sigma } ו- τ ε {\displaystyle \tau _{\varepsilon }} היא לכל היותר v ∞ + ε {\displaystyle v_{\infty }+\varepsilon } . ז'אן פרנסואה מרטנס ואברהם נוימן (1981) הוכיחו שלכל משחק סטוכסטי לשני-שחקנים בעל סכום-אפס עם מצבים ופעולות סופיים, קיים ערך אחיד. אם ישנו מספר סופי של שחקנים וקבוצות הפעולה וקבוצת המצבים הם סופיים, אזי למשחק סטוכסטי עם מספר סופי של שלבים תמיד יהיה שיווי משקל נאש. אותו הדבר נכון עבור משחק עם אינסוף שלבים אם התגמול הכולל הוא הסכום המנוכה.למשחק הסטוכסטי Γ ∞ {\displaystyle \Gamma _{\infty }} שאינו בעל סכום-אפס יש תגמול שיווי-משקלי אחיד v ∞ {\displaystyle v_{\infty }} אם עבור כל ε > 0 {\displaystyle \varepsilon >0} ישנו מספר חיובי ושלם N {\displaystyle N} ופרופיל אסטרטגי σ {\displaystyle \sigma } כך שעבור כל סטייה חד-צדדית הנעשית על ידי שחקן i {\displaystyle i} , (כלומר, פרופיל אסטרטגי τ {\displaystyle \tau } עם σ j = τ j {\displaystyle \sigma ^{j}=\tau ^{j}} עבור כל j ≠ i {\displaystyle j\neq i} , וכל n ≥ N {\displaystyle n\geq N} התוחלת של g ¯ n i {\displaystyle {\bar {g}}_{n}^{i}} המתייחסת להסתברות במהלכים המוגדרים על ידי σ {\displaystyle \sigma } הנה לפחות v ∞ i − ε {\displaystyle v_{\infty }^{i}-\varepsilon } , והתוחלת של g ¯ n i {\displaystyle {\bar {g}}_{n}^{i}} המתייחסת להסתברות במהלכים המוגדרים על ידי τ {\displaystyle \tau } הנה לכל היותר v ∞ i + ε {\displaystyle v_{\infty }^{i}+\varepsilon } וייל הראה שמשחקים סטוכסטיים בעלי שני-שחקנים עם מצב סופי ומרחבי פעולה יש תגמול שיווי-משקל אחיד. למשחק הסטוכסטי שאינו בעל סכום-אפס יש תגמול שיווי-משקלי ממוצע מוגבל אם עבור כל ε > 0 {\displaystyle \varepsilon >0} יש פרופיל אסטרטגי σ {\displaystyle \sigma } כך שעבור כל סטייה חד-צדדית הנעשית על ידי שחקן i {\displaystyle i} , התוחלת של הגבול התחתון של ממוצע תגמולי השלב המתייחסת להסתברות במהלכים המוגדרים על ידי σ {\displaystyle \sigma } היא לפחות v ∞ i − ε {\displaystyle v_{\infty }^{i}-\varepsilon } , והתוחלת של הגבול העליון של תגמול ממוצע השלב המתייחסת להסתברות במהלכים המוגדרים על ידי τ {\displaystyle \tau } הנה לכל היותר v ∞ + ε {\displaystyle v_{\infty }+\varepsilon } . ז'אן פרנסואה מרטנס ואברהם נוימן הוכיחו (1981) כי לכל משחק סטוכסטי שהוא סכום-אפס בעל שני שחקנים עם מצבים ופעולות סופיים רבים ישנו ערך ממוצע מוגבל, וניקולה וייל הראה שלכל המשחקים הסטוכסטיים בעלי שני שחקנים עם מצב ומרחבי פעולה סופיים יש תגמול שיווי-משקלי ממוצע מוגבל. במיוחד, התוצאות הללו מביעות שלמשחקים הללו יש ערך ותגמול שיווי-משקל מקורב, הנקרא תגמול שיווי-משקלי בעל ממוצע גבול-תחתון (ובהתאמה, בעל ממוצע גבול-עליון), כשאר התגמול הכולל הוא הגבול התחתון (או הגבול העליון) של ממוצע תגמולי השלב. שאלה שנותרה פתוחה היא האם לכל משחק סטוכסטי עם מס' שחקנים, מצבים ופעולות רבים וסופיים ישנו תגמול שיווי-משקל אחיד, או תגמול שיווי-משקל ממוצע מגדל, או אפילו תגמול שיווי-משקל בעל ממוצע גבול-תחתון. שיווי המשקל המושלם של מרקוב הוא עיבוד תת-משחקי משוכלל של הקונספט של שיווי משקל נאש עבור משחקים סטוכסטיים. למשחקים סטוכסטיים יש יישומים בכלכלה, ביולוגיה אבולוציונית ורשתות מחשבים. הם מהווים הכללות של משחקים חוזרים שמתאימים למקרה מיוחד שבו יש מצב אחד בלבד. תהליך סטוכסטי Condon, A. (1992). "The complexity of stochastic games". Information and Computation. 96: 203–224. doi:10.1016/0890-5401(92)90048-K. H. Everett (1957). "Recursive games". In Melvin Dresher, Albert William Tucker, Philip Wolfe (ed.). Contributions to the Theory of Games, Volume 3. Annals of Mathematics Studies. Princeton University Press. pp. 67–78. ISBN 978-0-691-07936-3. (Reprinted in Harold W. Kuhn, ed. Classics in Game Theory, Princeton University Press, 1997. ISBN 978-0-691-01192-9).{{cite book}}: תחזוקה - ציטוט: multiple names: editors list (link) Filar, J.; Vrieze, K. (1997). Competitive Markov Decision Processes. Springer-Verlag. ISBN 0-387-94805-8. Mertens, J. F.; Neyman, A. (1981). "Stochastic Games". International Journal of Game Theory. 10 (2): 53–66. doi:10.1007/BF01769259. Neyman, A.; Sorin, S. (2003). "Stochastic Games and Applications". Kluwer Academic Press. Dordrecht. ISBN 1-4020-1492-9. Shapley, L. S. (1953). "Stochastic games". PNAS. pp. 1095–1100. doi:10.1073/pnas.39.10.1095. Vieille, N. (2002). "Stochastic games: Recent results". Handbook of Game Theory. Amsterdam: Elsevier Science. pp. 1833–1850. ISBN 0-444-88098-4. Yoav Shoham; Kevin Leyton-Brown (2009). Multiagent systems: algorithmic, game-theoretic, and logical foundations. Cambridge University Press. pp. 153–156. ISBN 978-0-521-89943-7. (suitable for undergraduates; main results, no proofs) הרצאה על משחקים סטוכסטיים עם שני שחקנים מאת אנטונין קוסרה Constrained Stochastic Games in Wireless Networks by E.Altman, K.Avratchenkov, N.Bonneau, M.Debbah, R.El-Azouzi, D.S.Menasche