בשנת 2016, בתאריכים 9, 10, 12, 13 ו-15 במרץ, במלון ארבע העונות בסיאול, נערכו חמישה משחקים בין AlphaGo לבין שחקן ה Go הדרום קוראני המקצועי בשם לי סדול. נכון לזמן התחרות דירוגו היה דאן 9 (מתוך 9). המשחקים שודרו בשידור חי בכלי תקשורת רבים. AlphaGo ניצחה את לי בארבעת מתוך חמשת המשחקים: בשלושת המשחקים הראשונים ובמשחק החמישי. במשחק הרביעי הצליח לי לגבור על AlphaGo. המשחק היחיד בו ניצח לי הפך אותו לאדם היחיד בעולם שניצח אי-פעם את AlphaGo מתוך כל 74 משחקיה הרשמיים.
AlphaGo רצה על גבי הענן של גוגל תוך שימוש בשרתים הממוקמים בארצות הברית. המשחק עשה שימוש בחוקים סיניים עם 7.5 נקודות קומי (), ולכל צד היו שעתיים של חשיבה בתוספת שלוש תקופות ביויומי () של 60 שניות. הגרסה של AlphaGo ששיחקה נגד לי השתמשה בכמות מחשוב דומה כמו שהייתה בשימוש במשחק מול פאן חוי. AlphaGo לא אומנה באופן ספציפי לנצח את לי (כלומר לא אומנה ספציפית נגד סגנון המשחק של לי), אלה אומנה באופן כללי, ללא מטרה ספציפית לנצח אדם ספציפי.
הפרס בתחרות היה מיליון דולר. מכיוון ש AlphaGo זכתה בארבעה מתוך חמשת המשחקים בסדרה, הפרס נתרם לעמותות, כולל יוניסף. לי קיבל 150 אלף דולר על השתתפות בכל חמשת המשחקים ותוספת של 20 אלף דולר עבור זכייתו במשחק 4.
ביוני 2016, בכנס שהתקיים באחת האוניברסיטאות בהולנד, חשף אג'ה הואנג, חבר בצוות DeepMind, כי הם זיהו ותיקנו את נקודת התורפה של AlphaGo שגרמה לתוכנה להפסיד ללי במהלך המשחק הרביעי ביניהם.
60 משחקים ברשת.
ב־29 בדצמבר 2016, חשבון חדש בשרת תיגי׳ם () בשם "מגיסטר" (שהוצג כ 'מגיסט' בגרסה הסינית של השרת) מדרום קוריאה החל לשחק משחקים עם שחקנים מקצועיים. החשבון שינה את שמו ל- "Master" ב־30 בדצמבר, ואז עברה לשרת FoxGo ב -1 בינואר 2017. ב -4 בינואר אישרה DeepMind כי "Magister" ו- "Master" הם חשבונות בהם משחקת הגרסה המעודכנת של AlphaGo, הנקראת AlphaGo Master. החל מה -5 בינואר 2017, AlphaGo Master קבע שיא של 60 ניצחונות ו- 0 הפסדים, כולל שלושה ניצחונות על השחקן בעל הדירוג הגבוה ביותר נכון לזמן המשחק, קה גיי. לאחר שנודע על ההפסדים של גיי לתוכנת המאסטר, שחקן ה Go גו לי () הציע סכום של 100,000 יואן (14,400 דולר) לשחקן האנושי הראשון שיכול להביס את מאסטר.
במהלך שישים המשחקים ברשת, המאסטר שיחק בקצב של 10 משחקים ביום. רבים חשדו במהרה שמדובר בשחקן AI בגלל מנוחה מועטה בין המשחקים. יריביו כללו אלופי עולם רבים . כל 60 המשחקים פרט לאחד היו משחקים מהירים עם שלושה ביויומיים באורך 20 או 30 שניות. המאסטר הציע להאריך את הביויומי לדקה כאשר שיחק עם ני ווייפינג בהתחשב בגילו. לאחר שניצח במשחקו ה -59, מאסטר חשף את עצמו בחדר הצ'אט.
לאחר השלמת המשחקים הללו, מייסד שותף של Google DeepMind, דמיס חסביס, אמר: "אנו מצפים לשחק בהמשך כמה משחקים רשמיים באורך מלא בשיתוף ארגוני Go ומומחים".
מומחי Go התרשמו מביצועי התוכנית וסגנון המשחק הלא אנושי שלה; קה גיי הצהיר כי "אחרי שהאנושות השקיעה אלפי שנים בשיפור הטקטיקה שלה, מחשבים אומרים לנו שבני אדם טועים לחלוטין ... הייתי מרחיק לכת ואומר שאף בן אדם לא נגע בקצה האמת של Go".
פסגת גו של 2017.
בתחרות הגו שנערכה בווז'ן במאי 2017, AlphaGo Master שיחק שלושה משחקים עם Ke Jie, השחקן המדורג במקום הראשון בעולם, כמו גם שני משחקים עם כמה שחקנים מקצועיים מובילים: משחק נגד זוג שחקנים ומשחק נגד צוות של חמישה שחקנים אנושיים.
Google DeepMind הציעה פרס של 1.5 מיליון דולר לזוכה בטורניר שלושת המשחקים בין Ke Jie ו- Master בעוד שהצד המפסיד יקבל 300,000 דולר. מאסטר ניצח את שלושת המשחקים נגד Ke Jie, ולאחריהם הוענקה דרגת דאן 9 (הדרגה הגבוה ביותר ב Go) מקצועי על ידי התאחדות הגו הסינית ל AlphaGo.
לאחר שניצחה את שלושת המשחקים שלה מול Ke Jie, שחקן ה- Go העולמי המדורג ביותר, הוכרז כי AlphaGo פורש, ו- DeepMind פרקה את הצוות שעבד על המשחק כדי להתמקד במחקר AI בתחומים אחרים. עם זאת, לאחר הפסגה פרסם צוות DeepMind כ- 50 משחקי AlphaGo נגד עצמו באורך מלא, כמתנה לקהילת שחקני ה- Go.
AlphaGo Zero ו- AlphaZero.
ב -19 באוקטובר 2017 הצוות של AlphaGo פרסם מאמר בכתב העת "Nature", בו הציג את AlphaGo Zero, גרסה ללא נתונים אנושיים וחזקה יותר מכל גרסה קודמת שמנצחת אלוף אנושי. בכך שהיא שיחקה משחקים נגד עצמה, AlphaGo Zero עלתה על כוחה של AlphaGo Lee תוך שלושה ימים בכך שניצח 100 מתוך 100 משחקים, הגיעה לרמה של מאסטר בגו תוך 21 יום, וניצחה את כל הגרסאות הישנות תוך 40 יום.
במאמר שפורסם ב- arXiv ב -5 בדצמבר 2017, טען צוות DeepMind כי היא הכליל את גישתו של AlphaGo Zero לאלגוריתם יחיד של AlphaZero, שהשיג תוך 24 שעות רמה של משחק על אנושי במשחקי השחמט, השוגי ו- Go על ידי ניצחון על התוכנות המובילות בתחומיהן Stockfish, Elmo, ו- AlphaGo Zero.
כלי הוראה.
ב־11 בדצמבר 2017, פרסם צוות DeepMind כלי להוראת גו שמבוסס על AlphaGo באתר האינטרנט שלה. הכלי מציג ללומדים את הסתברות הניצחון שמייצג על מהלך במשחק כפי שחושב על ידי AlphaGo Master . כלי ההוראה אוסף 6,000 מהלכי Go מ -230,000 משחקים אנושיים שכל אחד מהם נותח עם 10,000,000 סימולציות על ידי AlphaGo Master. רבים מהמהלכים כוללים הצעות למהלך אנושי.
גרסאות.
גרסה מוקדמת של AlphaGo נבדקה על חומרה עם מספר שונה של מעבדים ו- GPUs, הפועלים במצב אסינכרוני או מבוזר. שתי שניות של זמן חשיבה ניתנו לכל מהלך. ציוני מד-כושר (דירוגי Elo) המתקבלים מפורטים להלן. כצפוי, במשחקים בהם יש יותר זמן לכל שחקן, משיגה התוכנה דירוגים גבוהים יותר.
במאי 2016 חשפה גוגל חומרה קניינית משלה המכונה "יחידות עיבוד טנזור" או TPU. לפי הפרסום, רכיבים אלה כבר יושמו לשימוש במספר פרויקטים פנימיים בגוגל, כולל המשחק AlphaGo נגד לי סדול.
בפסגת העתיד של Go במאי 2017, DeepMind חשפה כי הגרסה של AlphaGo ששימשה בפסגה זו הייתה AlphaGo Master, וגילתה שהיא מדדה את חוזק הגרסאות השונות של התוכנה. AlphaGo Lee, הגרסה המשמשת נגד Lee, יכולה לנצח את AlphaGo Fan, הגרסה ששימשה במשחקים נגד פן חוי.
אַלגוֹרִיתְם.
החל משנת 2016, האלגוריתם של AlphaGo משתמש בשילוב של טכניקות למידת מכונה וחיפוש עצים, בשילוב אימונים נרחבים, הן ממשחק אנושי והן ממחשב. היא משתמשת בחיפוש עצים בשיטת מונטה קרלו, המונחית על ידי "רשת ערכים" ו"רשת מדיניות", שניהם מיושמים באמצעות טכנולוגיית רשת עצבית עמוקה. כמות מוגבלת של עיבוד מקדים של זיהוי תכונות ספציפיות למשחק (למשל, כדי להדגיש אם מהלך תואם לתבנית nakade) מוחל על הקלט לפני שהוא נשלח לרשתות העצביות.
הרשתות העצביות של המערכת הושקו בתחילה על בסיס מומחיות משחק אנושית. בתחילה הוכשרה AlphaGo לחקות משחק אנושי על ידי ניסיון להתאים למהלכים של שחקנים מומחים ממשחקים היסטוריים מוקלטים, תוך שימוש במאגר של כ -30 מיליון מהלכים. לאחר שהגיעה לרמה מסוימת של יכולת, היא הוכשרה בהמשך לשחק מספר רב של משחקים מול עצמה, תוך שימוש בלמידת חיזוק לשיפור המשחק שלה. כדי להימנע מבזבוז זמנו של היריב "מטעמי כבוד", התוכנה מתוכנתת להיכנע אם הערכת ההסתברות שלה לזכות נופלת מתחת לסף מסוים; למשחק נגד לי, סף הכניעה נקבע להסתברות ניצחון של 20%.
סגנון המשחק.
טובי מאנינג, שופט המשחק של AlphaGo vs. Fan Hui, תיאר את סגנון המשחק של התוכנה כ"שמרני". סגנון המשחק של AlphaGo תומך באופן מובהק בהסתברות גדולה יותר לזכות בפחות נקודות לעומת בהסתברות נמוכה יותר לזכות בנקודות רבות יותר. האסטרטגיה שלה למקסם את הסיכוי שלה לזכות נבדלת ממה שהשחקנים האנושיים נוטים לעשות שהוא למקסם את הרווחים הטריטוריאליים, ומסבירה כמה מהמהלכים המוזרים למראה. גישה זו מובילה למהלכי פתיחה רבים שמעולם או לעיתים רחוקות נעשו על ידי בני אדם, תוך הימנעות מוחלטת ממהלכי פתיחה רבים מהשורה השנייה ששחקנים אנושיים אוהבים לבצע. התוכנה נוטה להשתמש shoulder hits, במיוחד אם היריב מרוכז יתר על המידה.
תגובות לניצחון ב-2016.
קהילת הבינה המלאכותית.
הניצחון של AlphaGo במרץ 2016 היה אבן דרך מרכזית במחקר הבינה המלאכותית. לפני כן, Go נחשב כבעיה קשה בלמידת מכונה שהייתה צפויה להיות מחוץ להישג יד לטכנולוגיה של אז. רוב המומחים חשבו שתוכנית Go חזקה כמו AlphaGo נמצאת במרחק של חמש שנים לפחות; חלק מהמומחים חשבו שייקח לפחות עשור נוסף עד שהמחשבים ינצחו את אלופי הגו. רוב הצופים בתחילת המשחקים ב -2016 ציפו כי לי ינצח את AlphaGo.
עם משחקים כמו דמקה (ש"נפתרה" על ידי הצוות שפיתח את צ'ינוק), שחמט, וכעת גם גו בהם מחשבים הפכו בלתי מנוצחים, ניצחונות במשחקי לוח פופולריים כבר לא יכולים לשמש אבני דרך מרכזיות לבינה מלאכותית באופן שבו היו בעבר. מוריי קמפבל, מהיוצרים של Deep Blue כינה את הניצחון של AlphaGo "סוף עידן ... משחקי לוח הם פחות או יותר פתורים וזה הזמן לעבור הלאה."