Alpha_GO

**AlphaGo**（「Go」為日文「碁」字發音轉寫，是圍棋的西方名稱），直譯為**阿爾法圍棋**，亦被音譯為**阿爾法狗**、**阿法狗**、**阿發狗**等，是於 2014 年開始由英國倫敦 Google DeepMind 開發的人工智慧圍棋軟體。2017 年，關於 AlphaGo 的電影紀錄片《AlphaGo 世紀對決》正式上映。

專業術語上來說，AlphaGo 的做法是使用了蒙地卡羅樹搜尋與兩個深度神經網路相結合的方法，一個是以藉助估值網路（value network）來評估大量的選點，一個是藉助走棋網路（policy network）來選擇落子，並使用強化學習進一步改善它。在這種設計下，電腦可以結合樹狀圖的長遠推斷，又可像人類的大腦一樣自發學習進行直覺訓練，以提高下棋實力。

## 歷史

一般認為，電腦要在圍棋中取勝比在西洋棋等遊戲中取勝要困難得多，因為圍棋的下棋點極多，分支因子遠多於其他遊戲，而且每次落子對情勢的好壞飄忽不定， 諸如暴力搜尋法、Alpha-beta 剪枝、啟發式搜尋的傳統人工智慧方法在圍棋中很難奏效。在 1997 年 IBM 的電腦「深藍」擊敗俄籍世界西洋棋冠軍加里・卡斯帕羅夫之後，經過 18 年的發展，棋力最高的人工智慧圍棋程式才大約達到業餘 5 段圍棋棋士的水準，且在不讓子的情況下，仍無法擊敗職業棋士。2012 年，在 4 台 PC 上執行的 Zen 程式在讓 5 子和讓 4 子的情況下兩次擊敗日籍九段棋士武宮正樹。2013 年，Crazy Stone 在讓 4 子的情況下擊敗日籍九段棋士石田芳夫，這樣偶爾出現的戰果就已經是難得的結果了。

AlphaGo 的研究計劃於 2014 年啟動，此後和之前的圍棋程式相比表現出顯著提升。在和 Crazy Stone 和 Zen 等其他圍棋程式的 500 局比賽中，單機版 AlphaGo（執行於一台電腦上）僅輸一局。而在其後的對局中，分散式版 AlphaGo（以分散式運算執行於多台電腦上）在 500 局比賽中全部獲勝，且對抗運行在單機上的 AlphaGo 約有 77% 的勝率。2015 年 10 月的分散式運算版本 AlphaGo 使用了 1,202 塊 CPU 及 176 塊 GPU。

* 2015 年 10 月，AlphaGo 擊敗樊麾，成為第一個無需讓子即可在 19 路棋盤上擊敗圍棋職業棋士的電腦圍棋程式，寫下了歷史，並於 2016 年 1 月發表在知名期刊《自然》。
* 2016 年 3 月，透過自我對弈數以萬計盤進行練習強化，AlphaGo 在一場五番棋比賽中 4:1 擊敗頂尖職業棋士李世乭，成為第一個不藉助讓子而擊敗圍棋職業九段棋士的電腦圍棋程式，立下了里程碑。五局賽後韓國棋院授予 AlphaGo 有史以來第一位名譽職業九段。
* 2016 年 7 月 18 日，因柯潔那段時間狀態不佳，其在 Go Ratings 網站上的 WHR 等級分下滑，AlphaGo 得以在 Go Ratings 網站的排名中位列世界第一，但幾天之後，柯潔便又反超了 AlphaGo。2017 年 2 月初，Go Ratings 網站刪除了 AlphaGo、DeepZenGo 等圍棋人工智慧在該網站上的所有資訊。
* 2016 年 12 月 29 日至 2017 年 1 月 4 日，再度強化的 AlphaGo 以「Master」為帳號名稱，在未公開其真實身分的情況下，藉非正式的網路快棋對戰進行測試，挑戰中韓日台的一流高手，測試結束時 60 戰全勝。
* 2017 年 5 月 23 至 27 日在烏鎮圍棋峰會上，最新的強化版 AlphaGo 和世界第一棋士柯潔比試、並配合八段棋士協同作戰與對決五位頂尖九段棋士等五場比賽，取得三比零全勝的戰績，團隊戰與組隊戰也全勝，此次 AlphaGo 利用 GoogleTPU 執行，加上快速進化的機器學習法，運算資源消耗僅李世乭版本的十分之一。在與柯潔的比賽結束後，中國圍棋協會授予 AlphaGo 職業圍棋九段的稱號。

AlphaGo 在沒有人類對手後，AlphaGo 之父傑米斯・哈薩比斯宣布 AlphaGo 退役。而從業餘棋士的水平到世界第一，AlphaGo 的棋力取得這樣的進步，僅僅花了二年左右。

最終版本 AlphaZero 擁有更加強大的學習能力，可自我學習，在 21 天達到勝過中國頂尖棋士柯潔的 Alpha Go Master 的水平。

## 對戰

### deepmind 名義

2014 年起，AlphaGo 以英國棋友 deepmind 的名義開始在弈城圍棋網上對弈。deepmind 在 2014 年 4 月到 2015 年 9 月長達 1 年半的時間裡，維持在 7D 到 8D 之間，總共下了 300 多盤棋。2015 年 9 月 16 日首次升上 9D，之後在 AlphaGo 與樊麾對弈前後的三個月內未進行網路對弈。2015 年 12 月到 2016 年 2 月，deepmind 一共下了 136 盤，基本在 9D 水平。其中和職業棋士的多次對局互有勝負。

黃士傑在 AlphaGo 與李世乭九段比賽前曾否認 deepmind 是 AlphaGo 的測試帳號，但是在 AlphaGo 與李世乭比賽之後，DeepMind 創始人哈薩比斯承認 AlphaGo 曾經使用 deepmind 帳號進行過測試。

2016 年 12 月 16 日，在 AlphaGo 以 Master 身分登入弈城圍棋網之前，黃士傑要求刪除 deepmind 帳號。現在 deepmind 的戰績和棋譜已經無法查閱。

### 樊麾

2015 年 10 月，分散式版 AlphaGo 分先以 5:0 擊敗了歐洲圍棋冠軍華裔法籍職業棋士樊麾二段 。這是電腦圍棋程式第一次在十九路棋盤且分先的情況下擊敗職業圍棋棋士。新聞發布被推遲到 2016 年 1 月 27 日，和描述演算法的論文一起發布，而論文發表在《自然》上。

### 李世乭

2016 年 3 月，AlphaGo 挑戰世界冠軍韓國職業棋士李世乭（이세돌）九段。AlphaGo 使用 Google 位於美國的雲端運算伺服器，並通過光纜網路連接到韓國。比賽的地點為韓國首爾四季酒店；賽制為五番棋，分別於 2016 年 3 月 9 日、10 日、12 日、13 日和 15 日進行；規則為中國圍棋規則，黑棋貼 3 又 3/4 子；用時為每方 2 小時，3 次 1 分鐘讀秒。 DeepMind 團隊在 YouTube 上全球直播並由美籍職業棋士邁克・雷蒙（Michael Redmond）九段擔任英語解說，而中國大陸很多影片網站也採用 YouTube 的直播訊號進行直播，並加上自己的解說。DeepMind 團隊成員台灣業餘 6 段圍棋棋士黃士傑博士代表 AlphaGo 在棋盤上落子。

比賽獲勝者將獲得 100 萬美元的獎金。如果 AlphaGo 獲勝，獎金將捐贈給圍棋組織和慈善機構，包括聯合國兒童基金會。李世乭有 15 萬美元的出場費，且每贏一盤棋會再得 2 萬美元的獎金。

2016 年 3 月 9 日、10 日和 12 日的三局對戰均為 AlphaGo 獲勝，而 13 日的對戰則為李世乭獲勝，15 日的最終局則又是 AlphaGo 獲勝。因此對弈結果為 AlphaGo 4:1 戰勝了李世乭。這次比賽在網路上引發了人們對此次比賽和人工智慧的廣泛討論。

### Master 名義

2016 年 11 月 7 日，樊麾在微博上表示 AlphaGo 的實力大增，將在 2017 年初進行更多比賽。DeepMind 創辦人傑米斯・哈薩比斯隨後證實此訊息。然而並未公布細節。

2016 年 12 月 29 日晚上七點起，中國的弈城圍棋網出現疑似人工智慧圍棋軟體的圍棋高手，帳號名為「Magister」（中國大陸客戶端顯示為「Magist」），後又改名為「Master」。2017 年 1 月 1 日晚上十一點 Master 轉戰至騰訊旗下的野狐圍棋網。Master 以其空前的實力轟動了圍棋界。它以每天十盤的速度在弈城、野狐等網路圍棋對戰平台挑戰中韓日台的頂尖高手，到 2017 年 1 月 4 日公測結束為止 60 戰全勝，其中弈城 30 戰野狐 30 戰，戰勝了柯潔、朴廷桓、井山裕太、柁嘉熹、羋昱廷、時越、陳耀燁、李欽誠、古力、常昊、唐韋星、范廷鈺、周睿羊、江維傑、黨毅飛、周俊勳、金志錫、姜東潤、朴永訓、元晟溱等世界冠軍棋士，連笑、檀嘯、孟泰齡、黃雲嵩、楊鼎新、辜梓豪、申真諝、趙漢乘、安成浚等中國或韓國國內冠軍或者世界亞軍棋士，以及世界女子第一人於之瑩。期間古力曾懸賞人民幣 10 萬元給第 1 位戰勝 Master 者。

Master 所進行的 60 戰基本都是 3 次 20 秒或 30 秒讀秒的快棋，僅在與聶衛平交戰時考慮到聶老年紀大而延長為 1 分鐘，並且賽後還以繁體中文打上「謝謝聶老師」5 字。該帳號於 59 連勝後稱「我是 AlphaGo 的黃博士」，表明 Master 就是 AlphaGo，代為落子的是 AlphaGo 團隊成員來自台灣的黃士傑博士；DeepMind 創始人之一傑米斯・哈薩比斯於比賽結束後在其推特上表示「我們很期待在今後（2017 年）與圍棋組織和專家合作，在官方比賽中下幾盤慢棋」，黃士傑與樊麾也分別在 Facebook 與微博上發表官方中文譯文，表示對各國頂尖棋士參與 AlphaGo 的網路公測的感謝。2017 年 1 月 5 日晚，中國中央電視台《新聞聯播》以「人工智慧『阿爾法狗』橫掃圍棋高手」為題報導了最近火爆的 Master 網路快棋 60 連勝人類高手的事件，新聞還提到，「這次事件為接下來的人機對決做出了很好的預熱」。

因為人類棋士在慢棋中有更久的思考時間，所以雖然 AlphaGo 在網路快棋中大獲全勝，但仍不能斷言其在官方慢棋比賽中是否也會有如此出色的表現。不過職業棋士們對 AlphaGo 不同於人類的獨特棋風以及它高超的棋力印象深刻，柯潔在其微博中表示「感謝 Alphago 最新版給我們棋界帶來的震撼」，並「略有遺憾」地稱「若不是住院，我將用上那準備了一個星期的最後一招」。

### 中國烏鎮圍棋峰會

2016 年 6 月 4 日，在第 37 屆世界業餘圍棋錦標賽新聞發布會上，國際圍棋聯盟事務總長楊俊安透露今年內 AlphaGo 或將挑戰中國職業棋士柯潔九段。不過 DeepMind 創辦人傑米斯・哈薩比斯表示目前還沒有確定 AlphaGo 的下一步計劃，一旦有明確的安排，會有官方聲明。

2016 年 12 月 8 日，第 21 屆三星車險盃世界圍棋大師賽決賽過後，柯潔九段表示：「目前棋士之間的比賽眾多，我放棄了與 DeepZenGo 的對局。我覺得，我現在的狀態還不能打敗『阿爾法狗』（AlphaGo），今後需要更加努力。」

2017 年 4 月 10 日，中國圍棋協會、Google 和浙江省體育局聯合在中國棋院召開新聞發布會，宣布以柯潔為首的中國棋士將和 AlphaGo 在 5 月 23 至 27 日的中國烏鎮圍棋峰會上對弈。此次對弈分為三場比賽，首先在 5 月 23、25 和 27 日這三天，柯潔將與 AlphaGo 下三番棋，用時為每方 3 小時，5 次 1 分鐘讀秒。Google DeepMind 為本次柯潔與 AlphaGo 的三局比賽提供了 150 萬美元的勝者獎金，同時柯潔有 30 萬美元的出場費。 此外在 5 月 26 日，時越、羋昱廷、唐韋星、陳耀燁和周睿羊 5 人將進行團隊賽，他們將聯合與 AlphaGo 對弈，用時為每方 2 小時 30 分鐘，3 次 1 分鐘讀秒。同日，古力、連笑還將和 AlphaGo 合作進行人機配對賽，比賽將以棋士與 AlphaGo 合作的形式進行，用時為每方 1 小時，1 次 1 分鐘讀秒。最終，AlphaGo 以 3：0 戰勝柯潔，並被中國圍棋協會授予職業圍棋九段稱號，不過聶衛平九段稱它的水平「至少 20 段」。在結束與柯潔的比賽後，Deepmind 宣布 AlphaGo 將「退役」，不再參加任何圍棋比賽，但將公開 AlphaGo 自己與自己互弈的棋譜；而在未來 Deepmind 將會把 AlphaGo 的技術運用到醫療等更廣泛的領域。

### AlphaGo Zero

AlphaGo 的團隊於 2017 年 10 月 19 日在《自然》雜誌上發表了一篇文章，介紹了 AlphaGo Zero，這是一個沒有用到人類資料的版本，比以前任何擊敗人類的版本都要強大。 通過跟自己對戰，AlphaGo Zero 經過 3 天的學習，以 100:0 的成績超越了 AlphaGo Lee 的實力，21 天後達到了 AlphaGo Master 的水平，並在 40 天內超過了所有之前的版本。

## 版本

### 組態與效能

2015 年 10 月前後的測試中，AlphaGo 多次使用不同數目的 CPU 和 GPU，以單機或分散式模式執行。每一步棋有兩秒的思考時間。最終 Elo 等級分如下表：

然而 AlphaGo 的棋力不斷且顯著地增長。因此上表並不能代表 AlphaGo 其他版本的棋力。

而在 AlphaGo Zero 發布之後，Deepmind 表示新的演算法令新版的 AlphaGo 比舊版的耗能量大幅下降 10000 至 40000TDP，效能大幅提升。

### 組態與棋力

在 2016 年 1 月 27 日，Research at Google 發布了有關新版 AlphaGo 跟其他圍棋軟體，以及樊麾二段的對比如下：

在 2017 年 5 月 24 日，DeepMind 團隊證實了在烏鎮圍棋峰會上，所使用的 AlphaGo 版本是 Master，並公布了 AlphaGo 曾經公開對弈過的版本以及和其他圍棋軟體比較的圖表。其中，新版的 AlphaGo Master 能讓 AlphaGo Lee（跟李世乭對戰的版本）三子。兩個版本的 AlphaGo 自我生成的 Elo 等級分分別在 4750 和 3750 分附近，與柯潔九段在 5 月 23 日的 3620 分（非官方排名系統所統計的）相差約 130 到 1130 分之多。然而，職業棋士樊麾二段替 AlphaGo 團隊的首席研究員大衛・席爾瓦澄清：「當 AlphaGo 與從未對弈過的人類棋士對局時，這樣的優勢就不復存在了，尤其是柯潔這樣的圍棋大師，他可能幫助我們發現 AlphaGo 未曾展露的新弱點」。

## 演算法

AlphaGo 使用蒙地卡羅樹搜尋（Monte Carlo tree search），藉助估值網路（value network）與走棋網路（policy network）這兩種深度神經網路，通過估值網路來評估大量選點，並通過走棋網路選擇落點。AlphaGo 最初通過模仿人類玩家，嘗試匹配職業棋士的過往棋局，其資料庫中約含 3000 萬步棋著。後來它達到了一定的熟練程度，它開始和自己對弈大量棋局，使用強化學習進一步改善它。圍棋無法僅通過尋找最佳棋步來解決；遊戲一盤平均約有 150 步，每一步平均約有 200 種可選的下法，這意味著有太多需要解決的可能性。

## 表現評價

圍棋職業九段棋士金明完稱 AlphaGo 在與樊麾的對戰中，表現得「像人類一樣」。棋局裁判托比・曼寧則認為 AlphaGo 的棋風「保守」。

而李世乭在中國烏鎮圍棋峰會後表示，AlphaGo 的發揮非常穩定，表現完美，要想找到戰勝它的機會不能過於穩妥，「必須越亂越好，難點越多越好」。另外，柯潔在賽後復盤表示，AlphaGo 能夠非常有效率地利用場上的棋子，所走的棋子都與場上的棋子有連貫及配合，並對棋子的厚薄有獨到的理解，能把一些人類認為厚的棋子予以打擊和殲滅。[1]（頁面存檔備份，存於網際網路檔案館）

## 反應

AlphaGo 被譽為人工智慧研究的一項標誌性進展，在此之前，圍棋一直是機器學習領域的難題，甚至被認為是當代技術力所不及的範疇。樊麾戰的棋局裁判托比・曼寧和國際圍棋聯盟的秘書長李夏辰都認為將來圍棋棋士會藉助電腦來提升棋藝，從錯誤中學習。

台灣大學電機系教授于天立認為，Google 能夠成功結合深度神經網路、加強式學習和蒙地卡羅樹狀搜尋三種演算法，其成果值得喝采。他認為這種技術應該適用於一般連續性決策問題。因為 AlphaGo 可以在眾多可行的決策中，適當分配運算資源來探索此一決策所帶來的好處及壞處，並且可從探索中回饋修正錯誤。不過于也提到，即使 AlphaGo 所使用的學習模型比較具有一般性，它離真正完全通用的學習模型仍有一段距離。

## 類似成果

* Facebook 也在開發一套圍棋程式，名為 Darkforest。這套程式也是基於機器學習和樹搜尋。在 2016 年 3 月舉辦的第 9 屆 UEC 杯世界電腦圍棋大會中獲得亞軍。儘管該程式在其他圍棋程式面前表現強勁，但截至 2016 年年初，它尚未擊敗任何職業棋士。
* DeepZenGo 是日本程式設計師尾島陽兒、加藤英樹等開發的圍棋程式，是在舊版本的 Zen 圍棋軟體基礎上加入了深度學習技術後開發的新版本，由日本 DWANGO 公司、東京大學、日本棋院提供支援，其基本原理和 AlphaGo 類似。在第二屆圍棋電王戰中分先以 1:2 不敵趙治勳九段。在 2017 年 3 月 18-19 日在日本舉辦的第 10 屆 UEC 杯世界電腦圍棋大會上獲得亞軍。在 2017 年 3 月 21-23 日的世界最強棋士決定戰上以一勝二負的成績名列第三名。在 2017 年 3 月 26 日的第 5 屆電聖戰上分先戰勝了日本的一力遼七段。目前在 KGS、弈城、騰訊野狐等網路圍棋對弈平台上公測。
* 絕藝（英文名 Fine Art）是中國騰訊公司的 AI Lab（騰訊人工智慧實驗室）開發的圍棋人工智慧。在 2017 年 3 月 18-19 日的第 10 屆 UEC 杯世界電腦圍棋大會上奪得冠軍，並在 2017 年 3 月 26 日的第 5 屆電聖戰上分先戰勝了日本的一力遼七段。目前在騰訊野狐圍棋網路對弈平台上公測。
* CGI 是由國立交通大學 CGI（Computer Games and Intelligence）實驗室所開發的圍棋人工智慧。在 2017 首屆世界智慧型圍棋公開賽 8 月 16 日於內蒙古鄂爾多斯開戰，擊敗絕藝與 DeepZenGo，初賽全勝；17 日總決賽中奪得亞軍。

## 參見

* 圍棋與數學
* 深藍 (電腦)
* 華生 (人工智慧程式)
* 電腦圍棋

## 參考資料

## 外部連結

* 官方網站
* AlphaGo wiki（頁面存檔備份，存於網際網路檔案館） at Sensei's Library, including links to AlphaGo games
* AlphaGo page（頁面存檔備份，存於網際網路檔案館）, with archive and games
* Estimated 2017 rating of Alpha Go