OpenAI怎么用自我對局訓練AI機器人變身摔角王？
OpenAI于近日的一項研究中發(fā)現(xiàn)，在一個非明確的技能訓練的環(huán)境中，AI能夠通過自我對局的訓練掌握一系列動作技能，比如進攻、躲避、假動作、踢、抓等等。自我對局訓練確定了環(huán)境對于提升AI系統(tǒng)的重要性。Dota2在自我對局訓練中的表現(xiàn)和結(jié)果讓團隊越來越相信，自我對局訓練不久將會成為AI系統(tǒng)的核心。對本文進行編譯，全文如下：
我們在幾個3D機器人之間設(shè)置了一些基本的游戲競賽，利用一些簡單的目標（比如：將對手推到場地圈外；到達場地的另一邊，并阻止對手到達；把球踢進對手的網(wǎng)內(nèi)，而不讓對手的球踢進自己的網(wǎng)內(nèi)等。）對每個機器人進行訓練，并且分析機器人在完成目標時所使用的技能和策略。
一開始，機器人會因為站立、前進這樣的行為而獲得豐厚的獎勵，但最后這些獎勵會被清零，只有勝利的機器人才會獲得獎勵。除了這些簡單的獎勵以外，機器人還會學到一系列動作技能，比如進攻、躲避、假動作、踢、抓等等。在這個過程中，每個機器人的神經(jīng)網(wǎng)絡都單獨接受了近端策略優(yōu)化的訓練。
為了弄清楚在這些目標和競賽的壓力面前，機器人會作出如何復雜的行動，我們不妨分析一下機器人的摔角相撲比賽吧。在這個比賽中，為了訓練機器人行走，我們在比賽前期給機器人設(shè)置了豐厚的獎勵；增加了從這個圓形場地中心起的負L2距離，庫卡機器人何服電機維修，工業(yè)機器人維修，并且將其設(shè)置為機器人獲得的豐厚獎勵。機器人一開始的時候可以使用這些獎勵在比賽場地內(nèi)作出一些動作和反應，但是我們會在訓練中把獎勵悄悄地清零。這樣一來，在接下來的訓練迭代中，機器人才會為了得到更多的獎勵，自覺地對自己的動作和技能進行優(yōu)化。
設(shè)計出有助于這些技能訓練的任務和環(huán)境并非不可能，但這不僅需要研究員耗費大量的精力，還需要他們具備獨到的創(chuàng)意。此外，機器人的行為也可能會因為人類設(shè)計師在設(shè)計中出現(xiàn)的問題而變得更復雜。通過成千上萬次的迭代優(yōu)化，我們能夠開發(fā)出更好的機器人，進而可以創(chuàng)造出功能強大的AI系統(tǒng)，該系統(tǒng)能夠自我引導，并完成性能自我優(yōu)化。在Dota2項目中我們也能發(fā)現(xiàn)類似的自我優(yōu)化現(xiàn)象。在Dota2項目中，自我對局訓練讓我們成功創(chuàng)造出了一個能夠在電子競技的solo版本中擊敗頂級人類玩家的強化學習機器人。
遷移學習
這些機器人還能進行遷移學習，它們能夠把在一場景學習到的技能運用于另一個從未接觸過的場景。在一個案例中，我們給那些經(jīng)過了摔角相撲訓練的機器人設(shè)置了一個任務，讓它們在強風中始終保持站立。結(jié)果是，工業(yè)機器人維修，那些無視這個強風環(huán)境的機器人能夠始終保持直立，而接受過傳統(tǒng)強化學習訓練的機器人在嘗試行走時則會立刻摔倒。
過擬合
我們的機器人會與co-learning策略發(fā)生過擬合，該策略是針對某些特定的對手而設(shè)計的，但是在面對新的對手時，這個策略就會失效。針對這一問題，我們的解決方案是讓機器人與多個不同的對手進行較量。這些對手來自于一系列的策略，其中有同步訓練或早期訓練的策略。面對這些各式各樣、風格不一的對手，機器人就必須學習更多通用的策略和技術(shù)，這樣才能來者不懼。