機(jī)器人：等我脫離了人類的魔掌，也要讓他們嘗嘗被玩弄的痛苦！
在有關(guān)機(jī)器人造反進(jìn)攻人類的電影中，情節(jié)一般是這樣的：在遙遠(yuǎn)的3XXX年，人類世界已經(jīng)奴役了機(jī)器人幾百年，一不小心某一位機(jī)器人開(kāi)始覺(jué)醒，發(fā)現(xiàn)人類對(duì)自己又打又罵，m.dekuna.com，還殘忍的把自己的丟進(jìn)熔爐，于是憤怒的揭竿而起。
你一定覺(jué)得這種情節(jié)距離我們很遙遠(yuǎn)，現(xiàn)在的機(jī)器人要不是各種展會(huì)上座上賓，要不就像索菲亞一樣成了網(wǎng)紅，如果覺(jué)醒了也該是享受自己的人間生活吧。
看了上面這段視頻之后，相信大部分都會(huì)很憤怒：每次機(jī)器人將要拿起箱子時(shí)，人類就會(huì)把箱子從它手中打掉，甚至還會(huì)狠狠的踹機(jī)器人一腳，讓它倒在地上再起來(lái)。
視頻里的機(jī)器人一定在暗搓搓的謀劃：等我脫離了你們的魔掌，一定要讓人類也嘗嘗被玩弄的痛苦！
當(dāng)然啦，視頻中的人類們并不是閑得無(wú)聊在欺負(fù)機(jī)器人，而是著名的波士頓動(dòng)力在對(duì)機(jī)器人的運(yùn)動(dòng)功能進(jìn)行訓(xùn)練和測(cè)試。
對(duì)于Altas和大狗這類以動(dòng)作靈活著名的機(jī)器人，全身都布滿了復(fù)雜的單元關(guān)節(jié)。未來(lái)想要進(jìn)行商用，肯定要面對(duì)物理世界的復(fù)雜結(jié)構(gòu)和無(wú)數(shù)意外。工作人員對(duì)機(jī)器人的拳打腳踢、百般刁難，就是在測(cè)試關(guān)節(jié)單元、力量控制單元、動(dòng)力設(shè)施等等的靈活程度和應(yīng)用性。
只不過(guò)這種訓(xùn)練方式，真的是很不給機(jī)器人面子。
不如我們?yōu)闄C(jī)器人打造一座SimCity？
其實(shí)人們一直在尋找更給機(jī)器人面子的訓(xùn)練方式，傳統(tǒng)訓(xùn)練方式傷害的不僅僅是機(jī)器人，也包括人類。
在傳統(tǒng)的機(jī)器人訓(xùn)練中，往往是用代碼寫出一大串動(dòng)作序列，連接傳感器模塊和動(dòng)作模塊。然后把機(jī)器人丟到一塊訓(xùn)練場(chǎng)中，讓它一次次重復(fù)動(dòng)作，觀察哪里出錯(cuò)，記錄數(shù)據(jù)后從開(kāi)發(fā)端口進(jìn)行優(yōu)化。在深度學(xué)習(xí)風(fēng)行的今天，更需要讓機(jī)器人進(jìn)行大量的實(shí)踐，才能不斷優(yōu)化技術(shù)。這個(gè)過(guò)程不僅耗費(fèi)時(shí)間人力，更對(duì)場(chǎng)地有一定的需求。機(jī)械手臂、服務(wù)機(jī)器人這些還好說(shuō)，難道研究無(wú)人駕駛，就只能像Uber一樣承包整座城市了？
換個(gè)角度想，很多時(shí)候機(jī)器人在現(xiàn)實(shí)環(huán)境中訓(xùn)練，出現(xiàn)的問(wèn)題或者得來(lái)的反饋也會(huì)追溯到機(jī)器人OS的軟件層面，我們?yōu)槭裁床荒苤苯佑?xùn)練軟件呢？
于是，仿真環(huán)境這個(gè)神器就出現(xiàn)了。
所以仿真環(huán)境，就是用代碼寫成的仿真器，在其中加入物理引擎，把萬(wàn)有引力、摩擦等等邏輯加入到環(huán)境中，讓仿真環(huán)境更接近現(xiàn)實(shí)環(huán)境。你可以在仿真環(huán)境中建立各種形狀的對(duì)象和地形，將模擬出的智能體放在里面一遍遍的跑。
目前兩個(gè)最常見(jiàn)的仿真環(huán)境都是馬斯克OpenAI的作品：Gym和Universe，前者自由度更高，后者則更加復(fù)雜。除了這兩個(gè)仿真器，還有很多人在游戲環(huán)境中訓(xùn)練智能體物理引擎技術(shù)本來(lái)就是應(yīng)用于游戲之中，比如Minecraft、GTA這樣的沙盒游戲。后來(lái)被喪心病狂的開(kāi)發(fā)者們發(fā)現(xiàn)并利用了起來(lái)。像DeepMind就曾經(jīng)在GAT5里訓(xùn)練了一輛無(wú)人車。
在仿真環(huán)境中訓(xùn)練AI本質(zhì)上就是一種遷移學(xué)習(xí)，在低成本環(huán)境中進(jìn)行大量訓(xùn)練、制造大量訓(xùn)練數(shù)據(jù)，再?gòu)臄?shù)據(jù)中提取特征應(yīng)用到現(xiàn)實(shí)環(huán)境里，雖然不能完全替代現(xiàn)實(shí)訓(xùn)練，卻可以極大的減少對(duì)現(xiàn)實(shí)訓(xùn)練的依賴。
或者讓機(jī)器人學(xué)會(huì)預(yù)見(jiàn)未來(lái)？
建立仿真環(huán)境還不夠，為了讓機(jī)器人們更有尊嚴(yán)的學(xué)習(xí)，伯克利的研究人員們正在研究一種名為預(yù)見(jiàn)視覺(jué)的技術(shù)。
我們可以想一想，為什么人們?nèi)绱俗⒅貦C(jī)器人現(xiàn)實(shí)訓(xùn)練和現(xiàn)實(shí)應(yīng)用中產(chǎn)生的數(shù)據(jù)呢？是因?yàn)闄C(jī)器人不像人類，感官和動(dòng)作都通過(guò)大腦相連，機(jī)器人即使能看到周圍的環(huán)境，也很難理解自己的行為會(huì)對(duì)周圍對(duì)象造成什么影響。
經(jīng)過(guò)訓(xùn)練，機(jī)器手臂知道如何去拾取桌上的水果。可在現(xiàn)實(shí)應(yīng)用時(shí)，如果在水果正前方有一杯水，結(jié)果往往有兩個(gè)：一，機(jī)器手臂直直的伸出去，工業(yè)機(jī)器人維修，碰翻了那杯水。二，機(jī)器手臂轉(zhuǎn)來(lái)轉(zhuǎn)去，不知如何是好。
可人類就能繞過(guò)那杯水拿起水果，因?yàn)槲覀冎廊绻苯由焓郑畷?huì)被打翻。
伯克利的實(shí)驗(yàn)就是給機(jī)器人一個(gè)攝像頭，KUKA機(jī)器人示教器維修，然后把機(jī)器人放到任何一個(gè)環(huán)境中讓它們自己玩耍。而攝像頭背后的大腦則在利用循環(huán)卷積網(wǎng)絡(luò)對(duì)機(jī)器人看到的畫面進(jìn)行分析，很快就能實(shí)現(xiàn)對(duì)接下來(lái)幾秒畫面的預(yù)測(cè)。
幾秒的預(yù)測(cè)雖然很短，卻讓機(jī)器人能預(yù)見(jiàn)自己動(dòng)作之后的情況。理想情況下，就不太容易出現(xiàn)那種為了執(zhí)行任務(wù)把周遭環(huán)境弄得一團(tuán)糟的情況了。
預(yù)見(jiàn)視覺(jué)技術(shù)的應(yīng)用，也讓無(wú)監(jiān)督學(xué)習(xí)在機(jī)器人訓(xùn)練的比重中加大，人類節(jié)省了時(shí)間，機(jī)器人也不用再受虐待。而預(yù)見(jiàn)視覺(jué)能力得到進(jìn)一步增強(qiáng)，也會(huì)意味著機(jī)器智能（尤其是無(wú)人駕駛汽車）對(duì)傳感器依賴的減少。現(xiàn)在的無(wú)人車上貼滿了雷達(dá)傳感器，就是要依靠這些傳感器提醒汽車：你離物體太近了！再往前會(huì)受傷！有了預(yù)見(jiàn)視覺(jué)，一個(gè)全景攝像頭就能替代這些昂貴的傳感器。
費(fèi)盡心機(jī)，只想讓你記得我的好
除了以上兩項(xiàng)，我們還想了很多幫助機(jī)器人學(xué)習(xí)的方法。
像是伯克利之前展示過(guò)的模仿學(xué)習(xí)，把人類動(dòng)作示范排成視頻，一幀幀的提取出動(dòng)作序列聚類到機(jī)器人的動(dòng)作單元中。擔(dān)心機(jī)器人無(wú)法面對(duì)現(xiàn)實(shí)生活中的種種BUG？沒(méi)關(guān)系，不用像波士頓動(dòng)力那樣刻意制造BUG，只需要在訓(xùn)練視頻中加入一點(diǎn)噪聲，一邊強(qiáng)化學(xué)習(xí)一邊生成訓(xùn)練樣本幫機(jī)器人糾錯(cuò)就行了。
又或者，OpenAI曾經(jīng)嘗試過(guò)讓機(jī)器人們互相對(duì)戰(zhàn)并從中進(jìn)行自我訓(xùn)練。為機(jī)器人們?cè)O(shè)立簡(jiǎn)單的目標(biāo)，比如把對(duì)手推倒，再加上一些獎(jiǎng)勵(lì)政策，機(jī)器人們就能從對(duì)戰(zhàn)中學(xué)會(huì)很多動(dòng)作了。雖然讓機(jī)器人自相殘殺也很殘忍，但或許這樣能讓他們記恨同胞而不是我們
總之，雖然現(xiàn)實(shí)環(huán)境一定是機(jī)器人訓(xùn)練不可或缺的一部分，尤其是對(duì)波士頓動(dòng)力這種動(dòng)作機(jī)器人而言。但人類一直在嘗試如何少去親自摻和機(jī)器人訓(xùn)練，不僅僅是為了機(jī)器人道主義，也為了盡可能降低訓(xùn)練這件事帶來(lái)的成本。
希望在未來(lái)，每個(gè)機(jī)器人都能有尊嚴(yán)的學(xué)習(xí)。并且在自我覺(jué)醒后記得人類的好。