好消息!
騰訊AI足球隊(duì)獲得了一項(xiàng)世界冠軍。
這是 Google Research 與英超曼城俱樂(lè)部在 Kaggle 平臺(tái)上聯(lián)合舉辦的 11v11 足球 AI 競(jìng)賽。
由于其兼具挑戰(zhàn)性和趣味性，一經(jīng)推出便吸引海內(nèi)外隊(duì)伍踴躍參加，截至 12 月中旬，吸引了來(lái)自世界各地的 1100 多個(gè)團(tuán)隊(duì)，其中包含多支世界頂級(jí)學(xué)府和研究機(jī)構(gòu)的科研強(qiáng)隊(duì)。
最終——騰訊 AI Lab 絕悟 WeKick版本(下稱「絕悟」)以 1785.8 的分?jǐn)?shù)獲得冠軍，且相比于其它隊(duì)伍優(yōu)勢(shì)非常明顯。
祝賀「絕悟」團(tuán)隊(duì)取得佳績(jī)!
慢著，「絕悟」......不就是王者榮耀里的那個(gè)AI嗎?
是的。足球他一樣在行。
我們看到的足球比賽是這樣的：
在AI的眼里，卻是這樣的：
(AI 的世界就是如此的樸素?zé)o華而枯燥)
比賽使用的 Google Research Football 環(huán)境，是基于開(kāi)源足球游戲 Gameplay Football 開(kāi)發(fā)的強(qiáng)化學(xué)習(xí)環(huán)境。
外表簡(jiǎn)陋，但和正常足球比賽一樣沒(méi)差，短傳、長(zhǎng)傳、直塞、射門、鏟球樣樣都有。
(其實(shí)，只是主辦方為了節(jié)省計(jì)算資源，大部分比賽都沒(méi)有經(jīng)過(guò)3D渲染)
比賽絕對(duì)公平公正。
游戲場(chǎng)景是完全對(duì)稱的，雙方有一樣的球員，沒(méi)有主客場(chǎng)、狀態(tài)好壞的數(shù)值差異，沒(méi)有替補(bǔ)球員、沒(méi)有加時(shí)賽、進(jìn)球多獲勝(否則平局)。
規(guī)則也與普通足球比賽類似——比賽分上下半場(chǎng)(各 45 分鐘，1500 步，兩支球隊(duì)各開(kāi)球一次)，目標(biāo)都是將球踢入對(duì)方球門。
好了，比賽開(kāi)始：
對(duì)方開(kāi)場(chǎng)勢(shì)如破竹呀，只見(jiàn)對(duì)方10號(hào)傳給了中插的5號(hào)，一腳抽射，應(yīng)聲入網(wǎng)。
「絕悟」0：1先丟一分。
可以看到，比賽中每個(gè)球員都各由一個(gè)單獨(dú)的智能體控制，參賽團(tuán)隊(duì)需要實(shí)時(shí)選擇并控制其中一個(gè)智能體，與其他內(nèi)置智能體配合。
因此，每個(gè)球員不僅需要觀察對(duì)手的行為，還需要留意己方隊(duì)員的情況。這需要非常復(fù)雜的團(tuán)隊(duì)協(xié)作和競(jìng)爭(zhēng)策略。
由于球場(chǎng)動(dòng)態(tài)瞬息萬(wàn)變，因此高速的實(shí)時(shí)決策能力也是必需的。
(糟糕，解釋的這一下，絕悟又丟失了一球)
「絕悟」0：2落后兩分。
不過(guò)沒(méi)關(guān)系，幸得絕悟有著極其豐富的團(tuán)戰(zhàn)經(jīng)驗(yàn)。
我方7、8、9號(hào)三人相互配合，率先搶回一分。
緊接著，我方5號(hào)乘勝追擊，接到9號(hào)一記妙傳后，直抽龍門底角。
扳平!「絕悟」2：2。
賽點(diǎn)來(lái)了!我方10號(hào)把球直塞中路，8號(hào)反跑沖出，踢進(jìn)制勝球。
最終「絕悟」3：2獲勝!
踢足球的「絕悟」，和打王者的「絕悟」，到底是不是同一個(gè)?
答案：是的!
和大多數(shù)參賽隊(duì)伍一樣，「絕悟」也主要采用了強(qiáng)化學(xué)習(xí)和自博弈(Self-Play)來(lái)從零開(kāi)始訓(xùn)練模型的方法。
其訓(xùn)練的基礎(chǔ)架構(gòu)是基于「絕悟」完全體的架構(gòu)遷移得到的，詳情參閱《騰訊絕悟AI完全體限時(shí)開(kāi)放體驗(yàn)，研究登上國(guó)際頂會(huì)與頂刊》
基于此，騰訊 AI Lab 又針對(duì)足球任務(wù)對(duì)該框架做針對(duì)性改進(jìn)，使其能適應(yīng) 11 智能體足球游戲訓(xùn)練環(huán)境。
......(此次省略20218888個(gè)字)
這也證明了騰訊 AI Lab 開(kāi)發(fā)的「絕悟」的底層架構(gòu)與方法的通用性，可以預(yù)見(jiàn)這類方法未來(lái)還有望進(jìn)一步遷移至機(jī)器人等更多領(lǐng)域，從而創(chuàng)造更大的實(shí)用價(jià)值。
從圍棋 AI 「絕藝」到策略決策型 AI 「絕悟」，再到如今的 AI 足球隊(duì)絕悟 WeKick 版本，騰訊 AI Lab 的深度強(qiáng)化學(xué)習(xí)智能體步步進(jìn)化，逐漸向更復(fù)雜更多樣化的問(wèn)題遷移，其中的每一次進(jìn)展都讓我們離通用人工智能終極目標(biāo)更近了一步。
