一位導(dǎo)師下載好了《王者榮耀》，還鼓勵她的博士生們?nèi)ネ嬉煌妗?/p>

真的很難想象，這種“名場面”就真真兒的發(fā)生在了國內(nèi)頂級學(xué)府 —— 北京大學(xué)。

……

這位導(dǎo)師叫李文新，是北大信息科學(xué)技術(shù)學(xué)院的一名教授。

△ 李文新教授

但她和學(xué)生們打《王者榮耀》可是真的正兒八經(jīng)的，因?yàn)槔钗男碌难芯糠较?，正是游?AI：

其實(shí)“游戲”這個詞，并不應(yīng)該是刻板印象中的手游、端游等等，我們對它的理解是更泛化的。

“游戲”是對“現(xiàn)實(shí)”的抽象和模仿。我們期望在游戲中獲得與現(xiàn)實(shí)接近的快樂成功體驗(yàn)，卻又避免現(xiàn)實(shí)中由于失誤和出錯帶來的真實(shí)損失。

因此游戲是一個非常好的試錯和迭代成長的虛擬環(huán)境。將現(xiàn)實(shí)問題環(huán)境虛擬成游戲，在游戲中通過大量試錯糾錯來迭代優(yōu)化問題解決方案，是一種重要的教育手段和研究手段。

甚至在李文新的眼里，游戲 AI 才是真正的人工智能。

（不禁令人想起最近大火的《失控玩家》了）

△ 《失控玩家》劇照

游戲 AI 到底擁有何種魅力，能讓李文新如此癡迷？

在游戲里搞 AI

先來看看李文新帶著博士們，是怎么打的《王者榮耀》。

他們要做的，其實(shí)就是在限定的時間和資源內(nèi)，訓(xùn)練出一個最優(yōu)決策模型，并把它部署到游戲 AI 對戰(zhàn)服務(wù)器平臺上。

這就像是一個“煉丹”的過程，讓他們的智能體通過訓(xùn)練，練就各種“功法”，然后去和別人家的智能體過招。

例如在之前的一場比賽中，《王者榮耀》英雄間的博弈是這樣的：

雖說都只是智能體，但在這波 battle 中，它們很好地發(fā)揮了自身的“基本功”：

作戰(zhàn)中

預(yù)測敵方走位

釋放技能連招

已擊殺，陣亡

而在每個“基本功”背后，都是智能體審時度勢后的最佳決策。

這就是李文新團(tuán)隊(duì)最近在打的“游戲”。

而更具體一點(diǎn)來說，就是在特定的環(huán)境中，對多智能體之間的博弈策略展開研究。

它有幾個難點(diǎn)：

• 第一是智能體的每一個決策都有非常多動作可以選擇（決策空間大，不能逐一枚舉嘗試）；

• 第二是決策的成敗與否不僅與自己的選擇有關(guān)，還與對手的決策有關(guān)，所以需要對敵人做預(yù)測（同時決策問題，存在循環(huán)克制的策略）；

• 第三是作戰(zhàn)環(huán)境和敵人的某些信息是未知的（非完全信息，需要對未知信息進(jìn)行探測和猜測）；

• 第四是游戲從開始到最終是一個比較長的決策過程，需要權(quán)衡長期收益和短期收益，并且需要形成一些組合套路（陣法）；

• 第五是多智能體之間存在合作關(guān)系，讓智能體學(xué)會合作和布陣，依舊是這個領(lǐng)域的前沿難題。

總之每一次決策都會對全局產(chǎn)生非常復(fù)雜的影響，是有種“牽一發(fā)而動全身”的感覺了。

……

但除了像《王者榮耀》這種 MOBA 游戲之外，李文新團(tuán)隊(duì)更癡迷的其實(shí)是中國傳統(tǒng)游戲：

斗地主和國標(biāo)麻將。

例如斗地主是這樣的：

打麻將是這樣的：

這場面，看著是不是挺像在線小游戲的？

不不不，仔細(xì)看圖中的這些“玩家”，其實(shí)它們都不是人，而是一個個訓(xùn)練好的智能體。

而且講真，讓 AI 打咱們這些個“祖?zhèn)鳌庇螒?，難度可是要比《圍棋》高得多。

因?yàn)閺牟┺恼摰慕嵌葋砜矗返刂骱痛蚵閷⑹菍儆诜峭耆畔⒍嗳瞬┺摹?/p>

簡單來說，就是游戲中有多個玩家，每個“玩家”都看不到其他人的手牌，并且初始手牌和牌堆是隨機(jī)發(fā)放的。

隨機(jī)發(fā)牌帶來的難度在于很難事前準(zhǔn)備針對特定牌局的策略。

在非完美信息游戲中，由于信息是不完全、非對稱的（例如撲克和麻將中對手的手牌和游戲剩余的底牌都是未知的），因此對于參與者來說許多不同的游戲狀態(tài)看起來是無法區(qū)分的。

例如在撲克游戲中，自己拿了兩張 K，對方拿了不同的牌對應(yīng)不同的狀態(tài)；但是從自己的視角看，這些狀態(tài)其實(shí)是不可區(qū)分的。

我們把每組這種無法區(qū)分的游戲狀態(tài)稱為一個信息集。

除了信息集的數(shù)量，還有一個重要的指標(biāo)：信息集的平均大小，即在信息集中平均有多少不可區(qū)分的游戲狀態(tài)。

在斗地主和麻將等非完美信息游戲中，斗地主的信息集數(shù)量是 1053～1083，信息集大小是 1023，麻將的則是 10121 和 1048。

李文新還介紹到，像斗地主和麻將，還會涉及到動態(tài)結(jié)盟的問題。

這樣一來，對 AI 的挑戰(zhàn)性就更高了。

在 1997 年 IBM 的“深藍(lán)”戰(zhàn)勝了國際象棋大師卡斯帕羅夫，它使用的算法是基于啟發(fā)式搜索的，人類象棋大師的經(jīng)驗(yàn)被編寫在了程序代碼中。

2016 年“AlphaGo”戰(zhàn)勝了圍棋大師李世石，它使用的算法是基于蒙特卡洛樹搜索、監(jiān)督學(xué)習(xí)（深度學(xué)習(xí)）和強(qiáng)化學(xué)習(xí)的。

在監(jiān)督學(xué)習(xí)中，AI 模仿了人類頂尖棋手的下棋方法，但只靠模仿人類是無法超越人類的。

強(qiáng)化學(xué)習(xí)則是讓 AI 在與 AI 自己的千百萬次對弈中不斷自我成長，進(jìn)而超越了人類棋手。自此強(qiáng)化學(xué)習(xí)方法成為游戲 AI 算法研究的主流方法。

簡單來說，強(qiáng)化學(xué)習(xí)的過程可以概括為：智能體與環(huán)境的交互，環(huán)境根據(jù)智能體的行為給予其不同程度的獎勵（懲罰），智能體因?yàn)橄胍畲蠡约旱睦塾?jì)收益，所以會根據(jù)環(huán)境對不同行為的反饋來重塑自己的行為（學(xué)習(xí)）。

使用強(qiáng)化學(xué)習(xí)的方法來訓(xùn)練智能體時，我們并不直接告訴智能體應(yīng)該如何做，而是在環(huán)境中合理設(shè)置獎懲機(jī)制，使得智能體因?yàn)橄胍@得最大累積收益而“主動地”調(diào)整自身行為，進(jìn)而達(dá)到主動學(xué)習(xí)的目的。

像家長在孩子做好事情時會給予獎勵，做錯事會給予懲罰，以使孩子朝著家長期望的方向發(fā)展，就是一個強(qiáng)化學(xué)習(xí)中通過調(diào)整環(huán)境獎勵機(jī)制促使智能體朝著預(yù)定方向進(jìn)化的例子。

這種通過調(diào)整環(huán)境的獎勵機(jī)制來指引智能體的進(jìn)化方向的方法可以有效地將人類經(jīng)驗(yàn)融入到機(jī)器學(xué)習(xí)過程中去，因?yàn)楠剟顧C(jī)制的制定可以是人為的。

如何更好地利用強(qiáng)化學(xué)習(xí)方法訓(xùn)練非完全信息多人博弈游戲 AI，是否有比強(qiáng)化學(xué)習(xí)更好的方法使智能體習(xí)得多人合作的策略，目前仍是游戲 AI 領(lǐng)域的難點(diǎn)問題。

李文新團(tuán)隊(duì)的工作還不止于此，他們?yōu)榱四茏尭嗳藚⑴c到游戲 AI 的研究中，還特意打造了 AI 對戰(zhàn)平臺 ——Botzone。

在這個 AI 平臺上，用戶可以提交自己的智能體程序進(jìn)行 AI 之間的對戰(zhàn)，也可以親自作為玩家參與到與 AI 的對決中。

剛才展示的斗地主、國標(biāo)麻將的例子，就是在 Botzone 中的較量。

而除了這兩款游戲，Botzone 還提供了坦克大戰(zhàn)、掃雷、俄羅斯方塊和它們的各種變體。

李文新還在北大開了一門《游戲中的 AI 算法》選修課，作業(yè)是設(shè)計(jì)打各種游戲的 AI，受到同學(xué)們的歡迎。

……

不難看出，李文新是一個資深游戲迷了。

但令人意外的是，在游戲 AI 這個領(lǐng)域，她卻屬于“轉(zhuǎn)型選手”。

半路“出家”到游戲 AI

如此“愛玩”的李文新教授，其實(shí)是最近幾年才把研究方向轉(zhuǎn)到游戲 AI 上的。

她早些年主要研究生物特征識別，是國際上最早從事自動化掌紋識別的研究者之一，后來還擴(kuò)展到更難識別、也更不容易偽造的指靜脈識別。

說到這里李教授還透露了一個小秘密，2009 到 2014 年間，北大課外鍛煉考勤使用的指靜脈識別系統(tǒng)就是她們團(tuán)隊(duì)做的。

那為何不沿著這個方向繼續(xù)做下去？

李教授的回答稍微有點(diǎn)“凡爾賽”：她覺得自己在生物特征識別上的研究算是成功了，可以告一段落了。

故事是這樣的。

隨著她帶的學(xué)生陸續(xù)畢業(yè)，其中兩位博士創(chuàng)業(yè)開了家公司，在教育考試，銀行，社保醫(yī)保等領(lǐng)域都接了大項(xiàng)目，把團(tuán)隊(duì)的科研成果實(shí)際落地了。

李文新教授認(rèn)為學(xué)術(shù)界的使命就是開辟一個新的領(lǐng)域，具體到應(yīng)用中怎么降低成本、產(chǎn)生效益那是工業(yè)界該考慮的事。

所以她做為一個學(xué)者現(xiàn)在該做的是去尋找下一個領(lǐng)域。

生物特征識別其實(shí)是她在中國香港理工大學(xué)讀博士時導(dǎo)師的研究方向。更早時候她在北大讀碩士時，導(dǎo)師帶著她研究的是地理信息系統(tǒng)。

前兩個研究方向等于都是導(dǎo)師幫她選擇的，而這一次轉(zhuǎn)型，她想自己去尋找新的挑戰(zhàn)。

那又是為什么選到了游戲 AI 這個方向？

雖然李文新教授自己從小也對棋牌類和體育運(yùn)動類的游戲很感興趣，但與游戲 AI 結(jié)緣的故事要從 2002 年開始，她組織北大學(xué)生參加 ACM 主辦的國際大學(xué)生程序設(shè)計(jì)競賽 (ACM/ICPC) 說起。

當(dāng)時除了正賽還會在旁邊開設(shè)一個分賽場，與正賽里的高難度算法題不同，分賽場的項(xiàng)目往往帶有對抗性質(zhì)，比如機(jī)器人足球賽。

2005 年的 ICPC 亞洲區(qū)預(yù)選賽在李教授的推動下正是在北京大學(xué)舉辦，當(dāng)年對抗賽的項(xiàng)目是“坦克大戰(zhàn)”。

在一定規(guī)則下，每個參賽隊(duì)伍為坦克制定一套策略，然后上場對戰(zhàn)，輸了的還可以現(xiàn)場修改代碼繼續(xù)參加下一輪。

在一屆屆這樣的比賽中她還觀察到一個特別的現(xiàn)象，對抗賽上勝出的學(xué)校往往不是正賽上的傳統(tǒng)強(qiáng)校。

似乎與解算法題相比，為游戲制定策略有著不一樣的難度和挑戰(zhàn)。

用李教授自己的話說，從這些對抗賽上她第一次“看見”了游戲 AI。

后來，她自己在教學(xué)中也嘗試加入對抗要素，想引發(fā)更多學(xué)生對 AI 的興趣。

再后來，就是像她帶領(lǐng)團(tuán)隊(duì)為 ICPC 正賽開發(fā)的在線程序評測系統(tǒng) POJ 一樣，也為游戲 AI 開發(fā)一個 Botzone 測評和對戰(zhàn)平臺。

在 AI 測試評估這件事上李文新教授的一個觀點(diǎn)是：

但凡進(jìn)入一個研究領(lǐng)域，第一步總是先要有個測試平臺，才能為后續(xù)研究的迭代找到優(yōu)化方向。

此時，游戲 AI 還沒有成為她的主業(yè)，不過她越來越覺得與給一個特定的視覺或語言任務(wù)建模相比，游戲是動態(tài)的博弈，充滿了變化和挑戰(zhàn)。

到了生物特征識別上的研究告一段落后，她覺得不如就找這個自己喜歡又有挑戰(zhàn)的方向來做。

因?yàn)楦憧蒲斜仨毷亲约合矚g才會有激情，才能做到廢寢忘食，研究才能深入。

2016-2017 年，李文新教授開始堅(jiān)定的轉(zhuǎn)向研究游戲 AI 領(lǐng)域。

這個時間也正好趕上 AlphaGo、AlphaZero 連續(xù)打敗人類，掀起了一陣 AI 熱潮。

現(xiàn)在李文新教授帶的博士生里，就有一位是喜歡下圍棋、讀本科時對 AlphaGo 深感震撼而選擇了這個方向的。

以 AlphaGo 為代表的強(qiáng)化學(xué)習(xí)技術(shù)是當(dāng)前游戲 AI 研究的主流方法，不過李文新教授的研究并不僅限于這里。

具體內(nèi)容還包括游戲 AI 的復(fù)雜度分析、游戲 AI 對戰(zhàn)能力和學(xué)習(xí)能力的評測方法、游戲 AI 的學(xué)習(xí)成本分析、游戲 AI 的模仿和傾向性聚類，甚至游戲?qū)值淖詣咏庹f、新模式游戲設(shè)計(jì)等等。

當(dāng)初的 Botzone 對戰(zhàn)平臺也發(fā)展成了知名的多智能體博弈系統(tǒng)，有 8 萬多個 AI 在上面總共進(jìn)行過 3900 多萬次對局。

Botzone 上產(chǎn)生的大量對戰(zhàn)數(shù)據(jù)也成了游戲 AI 進(jìn)一步研究的寶貴資料。

并且這些數(shù)據(jù)是開放下載的，讓全國各地的大學(xué)生，還有一些中學(xué)生團(tuán)隊(duì)都可以在 Botzone 上面學(xué)習(xí)和比賽。

這些年的研究和教學(xué)經(jīng)歷讓李文新教授越來越覺得“游戲 AI 是人工智能該有的樣子”。

“游戲 AI，是真的人工智能”

游戲 AI 應(yīng)當(dāng)是 AI 主流方式之一。

這是李文新對游戲 AI 的評價。

其實(shí)細(xì)想一下，這并不難理解。

游戲 AI 研究的是面對一個場景如何決策的問題，在現(xiàn)實(shí)世界里，如何決策體現(xiàn)了人類的高級智能。

我們只需要將現(xiàn)實(shí)世界建模成游戲環(huán)境，就可以在游戲環(huán)境中尋找解決現(xiàn)實(shí)世界問題的方法，之后把找到的解決方法還原到現(xiàn)實(shí)世界中去解決真實(shí)的問題。

這是一種非常經(jīng)濟(jì)而有效的方法。

更重要的是，由于強(qiáng)化學(xué)習(xí)的方法可以使 AI 在環(huán)境中自我成長，很可能獲得超越人類的決策智能，這時人類很可能要反過來向 AI 學(xué)習(xí)了。

游戲環(huán)境是人類定義的，所以游戲的難度和參數(shù)是自主可控的，有非常大的彈性，這就使得游戲成為人工智能技術(shù)最好的試驗(yàn)場。

提高游戲的難度，就可以使得最新的硬件和各種最新算法有了用武之地。

像“深藍(lán)”，使用了并行計(jì)算機(jī)和并行程序設(shè)計(jì)技術(shù)；AlphaGo 使用了 TPU 及深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)。借助游戲提供的高難度決策問題，硬件和軟件技術(shù)在解決難題過程中都有了突破性提升。

當(dāng)一個問題過于困難時，我們也可以降低游戲的難度，使原本困難的問題得到部分解決，進(jìn)而再逐步提升難度，遞進(jìn)式解決困難問題。

想想我們玩兒過的電子游戲：賽車、CS、DOTA、我的世界、星際爭霸……, 不是真實(shí)，勝似真實(shí)。

我們在其中的體驗(yàn)、感受、決策也可以遷移到現(xiàn)實(shí)世界中。

如果在星際爭霸中幾個 AI 學(xué)會了合作布陣，那同樣的方法可用于真實(shí)世界的機(jī)器人對抗。

如果一個 AI 在游戲里會開賽車，而游戲環(huán)境盡量逼近真實(shí)，那這個 AI 就能成為自動駕駛技術(shù)的起點(diǎn)。

其實(shí)游戲離現(xiàn)實(shí)并不遙遠(yuǎn)，它無需綁縛在傳統(tǒng)產(chǎn)業(yè)上也能體現(xiàn)其價值。

游戲本身就是一個前景巨大的產(chǎn)業(yè)，在解決了衣食住行這些人類最基本的需求之后，精神需求就被提上日程。

和讀一本書、看一場電影相比，打一場游戲也并不低級。恰恰相反，在游戲中我們可能會更多用腦，完全主動地參與。

就像有些書是禁書，有些電影少兒不宜一樣，游戲的內(nèi)容也需要監(jiān)督和把控。

在游戲產(chǎn)業(yè)中，不只游戲 AI 會用到人工智能技術(shù)，游戲的生產(chǎn)、運(yùn)維中，也是處處都會涉及到 AI 技術(shù)。可以說人工智能技術(shù)在游戲產(chǎn)業(yè)中大有可為。

在被問到是否贊同“下一個 AI 里程碑可能會在復(fù)雜策略游戲中誕生”時，李文新表示她是非常認(rèn)同的。因?yàn)楝F(xiàn)在越來越多的研究者正在興趣盎然地研究這一問題。

不過，在她的眼里，游戲 AI 還有更深一層的意義：

游戲 AI 是活在游戲里的“人”，人也是活在人生的大戲中，兩者可以互相啟發(fā)。

……

最后，如果想要更加深入地走進(jìn)李文新教授的游戲 AI 世界，敬請關(guān)注今年由 CNCC 舉辦的計(jì)算機(jī)大會。

本屆大會中，李文新教授將會圍繞《游戲 AI 算法與平臺》展開討論。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。