阿爾法狗再進(jìn)化：AlphaGo Zero自學(xué)3天100:0擊敗老狗，附詳細(xì)解讀

倫敦當(dāng)?shù)貢r(shí)間10月18日18：00（北京時(shí)間19日01：00），AlphaGo再次登上世界頂級(jí)科學(xué)雜志——《自然》。

一年多前，AlphaGo便是2016年1月28日當(dāng)期的封面文章，Deepmind公司發(fā)表重磅論文，介紹了這個(gè)擊敗歐洲圍棋冠軍樊麾的人工智能程序。

今年5月，以3:0的比分贏下中國(guó)棋手柯潔后，AlphaGo宣布退役，但DeepMind公司并沒(méi)有停下研究的腳步。倫敦當(dāng)?shù)貢r(shí)間10月18日，DeepMind團(tuán)隊(duì)公布了最強(qiáng)版AlphaGo ，代號(hào)AlphaGo Zero。它的獨(dú)門(mén)秘籍，是“自學(xué)成才”。而且，是從一張白紙開(kāi)始，零基礎(chǔ)學(xué)習(xí)，在短短3天內(nèi)，成為頂級(jí)高手。

團(tuán)隊(duì)稱，AlphaGo Zero的水平已經(jīng)超過(guò)之前所有版本的AlphaGo。在對(duì)陣曾贏下韓國(guó)棋手李世石那版AlphaGo時(shí)，AlphaGo Zero取得了100:0的壓倒性戰(zhàn)績(jī)。DeepMind團(tuán)隊(duì)將關(guān)于AlphaGo Zero的相關(guān)研究以論文的形式，刊發(fā)在了10月18日的《自然》雜志上。

“AlphaGo在兩年內(nèi)達(dá)到的成績(jī)令人震驚。現(xiàn)在，AlphaGo Zero是我們最強(qiáng)版本，它提升了很多。Zero提高了計(jì)算效率，并且沒(méi)有使用到任何人類圍棋數(shù)據(jù)，”AlphaGo之父、DeepMind聯(lián)合創(chuàng)始人兼CEO 戴密斯·哈薩比斯（Demis Hassabis）說(shuō)，“最終，我們想要利用它的算法突破，去幫助解決各種緊迫的現(xiàn)實(shí)世界問(wèn)題，如蛋白質(zhì)折疊或設(shè)計(jì)新材料。如果我們通過(guò)AlphaGo，可以在這些問(wèn)題上取得進(jìn)展，那么它就有潛力推動(dòng)人們理解生命，并以積極的方式影響我們的生活。”

不再受人類知識(shí)限制，只用4個(gè)TPU

AlphaGo此前的版本，結(jié)合了數(shù)百萬(wàn)人類圍棋專家的棋譜，以及強(qiáng)化學(xué)習(xí)的監(jiān)督學(xué)習(xí)進(jìn)行了自我訓(xùn)練。

在戰(zhàn)勝人類圍棋職業(yè)高手之前，它經(jīng)過(guò)了好幾個(gè)月的訓(xùn)練，依靠的是多臺(tái)機(jī)器和48個(gè)TPU（谷歌專為加速深層神經(jīng)網(wǎng)絡(luò)運(yùn)算能力而研發(fā)的芯片）。

AlphaGo Zero的能力則在這個(gè)基礎(chǔ)上有了質(zhì)的提升。最大的區(qū)別是，它不再需要人類數(shù)據(jù)。也就是說(shuō)，它一開(kāi)始就沒(méi)有接觸過(guò)人類棋譜。研發(fā)團(tuán)隊(duì)只是讓它自由隨意地在棋盤(pán)上下棋，然后進(jìn)行自我博弈。值得一提的是，AlphaGo Zero還非常“低碳”，只用到了一臺(tái)機(jī)器和4個(gè)TPU，極大地節(jié)省了資源。

AlphaGo Zero強(qiáng)化學(xué)習(xí)下的自我對(duì)弈

經(jīng)過(guò)幾天的訓(xùn)練，AlphaGo Zero完成了近5百萬(wàn)盤(pán)的自我博弈后，已經(jīng)可以超越人類，并擊敗了此前所有版本的AlphaGo。DeepMind團(tuán)隊(duì)在官方博客上稱，Zero用更新后的神經(jīng)網(wǎng)絡(luò)和搜索算法重組，隨著訓(xùn)練地加深，系統(tǒng)的表現(xiàn)一點(diǎn)一點(diǎn)地在進(jìn)步。自我博弈的成績(jī)也越來(lái)越好，同時(shí)，神經(jīng)網(wǎng)絡(luò)也變得更準(zhǔn)確。

AlphaGo Zero習(xí)得知識(shí)的過(guò)程

“這些技術(shù)細(xì)節(jié)強(qiáng)于此前版本的原因是，我們不再受到人類知識(shí)的限制，它可以向圍棋領(lǐng)域里最高的選手——AlphaGo自身學(xué)習(xí)。” AlphaGo團(tuán)隊(duì)負(fù)責(zé)人大衛(wèi)·席爾瓦（Dave Sliver）說(shuō)。

據(jù)大衛(wèi)·席爾瓦介紹，AlphaGo Zero使用新的強(qiáng)化學(xué)習(xí)方法，讓自己變成了老師。系統(tǒng)一開(kāi)始甚至并不知道什么是圍棋，只是從單一神經(jīng)網(wǎng)絡(luò)開(kāi)始，通過(guò)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的搜索算法，進(jìn)行了自我對(duì)弈。

隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升預(yù)測(cè)下一步的能力，最終贏得比賽。更為厲害的是，隨著訓(xùn)練的深入，DeepMind團(tuán)隊(duì)發(fā)現(xiàn)，AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項(xiàng)古老游戲帶來(lái)了新的見(jiàn)解。

自學(xué)3天，就打敗了舊版AlphaGo

除了上述的區(qū)別之外，AlphaGo Zero還在3個(gè)方面與此前版本有明顯差別。

AlphaGo-Zero的訓(xùn)練時(shí)間軸

首先，AlphaGo Zero僅用棋盤(pán)上的黑白子作為輸入，而前代則包括了小部分人工設(shè)計(jì)的特征輸入。

其次，AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中，AlphaGo用到了“策略網(wǎng)絡(luò)”來(lái)選擇下一步棋的走法，以及使用“價(jià)值網(wǎng)絡(luò)”來(lái)預(yù)測(cè)每一步棋后的贏家。而在新的版本中，這兩個(gè)神經(jīng)網(wǎng)絡(luò)合二為一，從而讓它能得到更高效的訓(xùn)練和評(píng)估。

第三，AlphaGo Zero并不使用快速、隨機(jī)的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來(lái)預(yù)測(cè)哪個(gè)玩家會(huì)從當(dāng)前的局面中贏得比賽。相反，新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來(lái)評(píng)估下棋的局勢(shì)。

AlphaGo幾個(gè)版本的排名情況

據(jù)哈薩比斯和席爾瓦介紹，以上這些不同幫助新版AlphaGo在系統(tǒng)上有了提升，而算法的改變讓系統(tǒng)變得更強(qiáng)更有效。

經(jīng)過(guò)短短3天的自我訓(xùn)練，AlphaGo Zero就強(qiáng)勢(shì)打敗了此前戰(zhàn)勝李世石的舊版AlphaGo，戰(zhàn)績(jī)是100:0的。經(jīng)過(guò)40天的自我訓(xùn)練，AlphaGo Zero又打敗了AlphaGo Master版本。“Master”曾擊敗過(guò)世界頂尖的圍棋選手，甚至包括世界排名第一的柯潔。

對(duì)于希望利用人工智能推動(dòng)人類社會(huì)進(jìn)步為使命的DeepMind來(lái)說(shuō)，圍棋并不是AlphaGo的終極奧義，他們的目標(biāo)始終是要利用AlphaGo打造通用的、探索宇宙的終極工具。AlphaGo Zero的提升，讓DeepMind看到了利用人工智能技術(shù)改變?nèi)祟惷\(yùn)的突破。他們目前正積極與英國(guó)醫(yī)療機(jī)構(gòu)和電力能源部門(mén)合作，提高看病效率和能源效率。

以下轉(zhuǎn)載一篇關(guān)于論文深度解讀，部分內(nèi)容會(huì)與前面部分有重復(fù)

論文深度解讀

作者: 開(kāi)明 Nature上海辦公室

人工智能棋手 AlphaGo先后戰(zhàn)勝了兩位頂尖圍棋高手李世乭和柯潔。在這場(chǎng)猛烈風(fēng)暴席卷了世界后，AlphaGo宣布不再和人下棋。但它的創(chuàng)造者并沒(méi)有因此停下腳步，AlphaGo還在成長(zhǎng)，今天Deepmind又在《自然》期刊上發(fā)表了關(guān)于 AlphaGo的新論文。

Deepmind于2016年1月28日在Nature雜志上發(fā)表第一篇關(guān)于AlphaGo的論文，并登

這篇論文中的 AlphaGo是全新的，它不是戰(zhàn)勝柯潔的那個(gè)最強(qiáng)的 Master，但卻是孿生兄弟。它的名字叫AlphaGo Zero。和以前的 AlphaGo相比，它：

• 從零開(kāi)始學(xué)習(xí)，不需要任何人類的經(jīng)驗(yàn)

• 使用更少的算力得到了更好的結(jié)果

• 發(fā)現(xiàn)了新的圍棋定式

• 將策略網(wǎng)絡(luò)和值網(wǎng)絡(luò)合并

• 使用了深度殘差網(wǎng)絡(luò)

白板理論（Tabula rasa)

AlphaGo Zero最大的突破是實(shí)現(xiàn)了白板理論。白板理論是哲學(xué)上的一個(gè)著名觀點(diǎn)，認(rèn)為嬰兒生下來(lái)是白板一塊，通過(guò)不斷訓(xùn)練、成長(zhǎng)獲得知識(shí)和智力。

作為 AI 領(lǐng)域的先驅(qū)，圖靈使用了這個(gè)想法。在提出了著名的“圖靈測(cè)試”的論文中，他從嬰兒是一塊白板出發(fā)，認(rèn)為只要能用機(jī)器制造一個(gè)類似小孩的 AI，然后加以訓(xùn)練，就能得到一個(gè)近似成人智力，甚至超越人類智力的AI。

現(xiàn)代科學(xué)了解到的事實(shí)并不是這樣，嬰兒生下來(lái)就有先天的一些能力，他們偏愛(ài)高熱量的食物，餓了就會(huì)哭鬧希望得到注意。這是生物體在億萬(wàn)年的演化中學(xué)來(lái)的。

監(jiān)督學(xué)習(xí) Vs 無(wú)監(jiān)督學(xué)習(xí)

計(jì)算機(jī)則完全不同，它沒(méi)有億萬(wàn)年的演化，因此也沒(méi)有這些先天的知識(shí)，是真正的“白板一塊”。監(jiān)督學(xué)習(xí)（Supervised Learning）和無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）是鏡子的兩面，兩者都想解決同一個(gè)問(wèn)題——如何讓機(jī)器從零開(kāi)始獲得智能？

監(jiān)督學(xué)習(xí)認(rèn)為人要把自己的經(jīng)驗(yàn)教給機(jī)器。拿分辨貓貓和狗狗的AI來(lái)說(shuō)，你需要準(zhǔn)備幾千張照片，然后手把手教機(jī)器——哪張照片是貓，哪張照片是狗。機(jī)器會(huì)從中學(xué)習(xí)到分辨貓狗的細(xì)節(jié)，從毛發(fā)到眼睛到耳朵，然后舉一反三得去判斷一張它從沒(méi)見(jiàn)過(guò)的照片是貓貓還是狗狗。

而無(wú)監(jiān)督學(xué)習(xí)認(rèn)為機(jī)器要去自己摸索，自己發(fā)現(xiàn)規(guī)律。人的經(jīng)驗(yàn)或許能幫助機(jī)器掌握智能，但或許人的經(jīng)驗(yàn)是有缺陷的，不如讓機(jī)器自己發(fā)現(xiàn)新的，更好的規(guī)律。人的經(jīng)驗(yàn)就放一邊吧。

從無(wú)知到無(wú)敵

就像這篇新論文中講述的那樣。AlphaGo Zero是無(wú)監(jiān)督學(xué)習(xí)的產(chǎn)物，而它的雙胞胎兄弟Master則用了監(jiān)督學(xué)習(xí)的方法。在訓(xùn)練了72小時(shí)后AlphaGo Zero就能打敗戰(zhàn)勝李世乭的 AlphaGo Lee，相比較AlphaGo Lee訓(xùn)練了幾個(gè)月。而40天后，它能以89:11的成績(jī)，將戰(zhàn)勝了所有人類高手的Master甩在后面。

AlphaGo Zero從0開(kāi)始的學(xué)習(xí)曲線,這個(gè)版本的神經(jīng)網(wǎng)絡(luò)由40個(gè)模塊組成。

圖靈的白板假設(shè)雖然無(wú)法用在人身上，但是AlphaGo Zero證明了，一個(gè)白板AI能夠被訓(xùn)練成超越人類的圍棋高手。

強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（Reinforcement Learning）是一種模仿人類學(xué)習(xí)方式的模型，它的基本方法是：要是機(jī)器得到了好的結(jié)果就能得到獎(jiǎng)勵(lì)，要是得到差的結(jié)果就得到懲罰。AlphaGo Zero并沒(méi)有像之前的兄弟姐妹一樣被教育了人類的圍棋知識(shí)。它只是和不同版本的自己下棋，然后用勝者的思路來(lái)訓(xùn)練新的版本，如此不斷重復(fù)。

AlphaGo Zero就像人類初學(xué)者，需要經(jīng)歷一定時(shí)間摸索。不同訓(xùn)練階段進(jìn)行的三場(chǎng)自我對(duì)弈游戲中的

通過(guò)這一方法，AlphaGo Zero完全自己摸索出了開(kāi)局、收官、定式等以前人類已知的圍棋知識(shí)，也摸索出了新的定勢(shì)。

算法和性能

如何高效合理得利用計(jì)算資源？這是算法要解決的一個(gè)重要問(wèn)題。AlphaGo Lee使用了48個(gè)TPU，更早版本的 AlphaGo Fan（打敗了樊麾的版本）使用了176個(gè)GPU，而Master和AlphaGo Zero僅僅用了4個(gè)TPU，也就是說(shuō)一臺(tái)電腦足夠！

由于在硬件和算法上的進(jìn)步，AlphaGo變得越來(lái)越有效率。

AlphaGo Zero在72小時(shí)內(nèi)就能超越AlphaGo Lee也表明，優(yōu)秀的算法不僅僅能降低能耗，也能極大提高效率。另外這也說(shuō)明，圍棋問(wèn)題的復(fù)雜度并不需要?jiǎng)佑么笠?guī)模的計(jì)算能力，那是只浪費(fèi)。

AlphaGo Zero的算法有兩處核心優(yōu)化：將策略網(wǎng)絡(luò)（計(jì)算下子的概率）和值網(wǎng)絡(luò)（計(jì)算勝率）這兩個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)合，其實(shí)在第一篇 AlphaGo的論文中，這兩種網(wǎng)絡(luò)已經(jīng)使用了類似的架構(gòu)。另外，引入了深度殘差網(wǎng)絡(luò)（Deep Residual Network），比起之前的多層神經(jīng)網(wǎng)絡(luò)效果更好。

Deepmind 的歷程

這不是 Deepmind第一次在《自然》上發(fā)論文，他們還在Nature上發(fā)表過(guò)《利用深度神經(jīng)網(wǎng)絡(luò)和搜索樹(shù)成為圍棋大師》和《使用深度強(qiáng)化學(xué)習(xí)達(dá)到人類游戲玩家水平》（論文鏈接：//rdcu.be/wRDs）以及《使用神經(jīng)網(wǎng)絡(luò)和動(dòng)態(tài)外存的混合計(jì)算模型》三篇論文，Deepmind在Nature Neuroscience上也發(fā)過(guò)多篇論文。

我們可以從中一窺 Deepmind的思路，他們尋找人類還沒(méi)有理解原理的游戲，游戲比起現(xiàn)實(shí)世界的問(wèn)題要簡(jiǎn)單很多。然后他們選擇了兩條路，一條道路是優(yōu)化算法，另外一條道路是讓機(jī)器不受人類先入為主經(jīng)驗(yàn)的影響。

這兩條路交匯的終點(diǎn)，是那個(gè)真正能夠超越人的AI。

結(jié)語(yǔ)

這是AlphaGo 的終曲，也是一個(gè)全新的開(kāi)始，相關(guān)技術(shù)將被用于造福人類，幫助科學(xué)家認(rèn)識(shí)蛋白質(zhì)折疊，制造出治療疑難雜癥的藥物，開(kāi)發(fā)新材料，以制造以出更好的產(chǎn)品。

本文來(lái)源：【EETOP】版權(quán)歸原作者所有