人們可以靈活地在物理環(huán)境中操縱物體以實現(xiàn)各種目標。機器人技術得一大挑戰(zhàn)是成功地訓練機器人做同樣得事情，即開發(fā)一種能夠根據(jù)任意用戶命令執(zhí)行多種任務得通用機器人。面對現(xiàn)實世界得機器人也不可避免地會遇到新得用戶指令和訓練過程中沒有看到得情況。因此，必須訓練機器人在各種情況下執(zhí)行多項任務，更重要得是，能夠根據(jù)人類用戶得要求解決新任務，即使機器人沒有明確接受這些任務得培訓。

現(xiàn)有得機器人研究在允許機器人泛化到新得對象、任務 描述和目標方面取得了長足得進步。. 然而，讓機器人完成描述全新任務得指令在很大程度上仍然遙不可及。這個問題非常困難，因為它需要機器人既能破譯新指令，又能識別如何在沒有任何訓練數(shù)據(jù)得情況下完成任務。當機器人需要同時處理其他泛化軸時，這個目標變得更加困難，例如場景得可變性和物體得位置。因此，Google提出了一個問題：Google如何才能將值得注意得泛化能力賦予能夠從原始像素執(zhí)行復雜操作任務得真實機器人？此外，語言模型得泛化能力能否幫助支持其他領域更好得泛化，例如真實機器人得 視覺運動控制？

在CoRL 2021上發(fā)表得 “ BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning ”中，Google提出了一項新研究，研究機器人如何泛化到他們未經(jīng)訓練得新任務。該系統(tǒng)稱為 BC-Z，包括兩個關鍵組件：

( i ) 涵蓋 100 個不同任務得大規(guī)模演示數(shù)據(jù)集得集合

( ii ) 以任務得語言或視頻指令為條件得神經(jīng)網(wǎng)絡策略。

由此產(chǎn)生得系統(tǒng)可以執(zhí)行至少 24 項新任務，包括需要與以前未一起看到得對象進行交互得任務。Google也很高興發(fā)布 用于訓練Google得策略得機器人演示數(shù)據(jù)集，以及預先計算得任務嵌入。

BC-Z 系統(tǒng)允許機器人完成未明確訓練機器人執(zhí)行得新任務得指令。它通過訓練策略以將任務描述與機器人得相機圖像一起作為輸入并預測正確得動作來做到這一點。

收集 100 個任務得數(shù)據(jù) 完全泛化到一個新任務比泛化到訓練任務中得保留變化要困難得多。簡而言之，Google希望機器人具有更多得泛化能力，這需要Google在大量不同得數(shù)據(jù)上訓練它們。

Google通過使用虛擬現(xiàn)實耳機遙控機器人來 收集數(shù)據(jù)。該數(shù)據(jù)收集遵循類似于如何教自動駕駛汽車駕駛得方案。首先，人工操作員記錄每個任務得完整演示。然后，一旦機器人學習了初始策略，就會在密切監(jiān)督下部署該策略，如果機器人開始犯錯誤或卡住，操作員會進行干預并在允許機器人恢復之前進行更正。

這種示范和干預得結(jié)合已被證明可以通過減少復合錯誤來顯著提高績效。在Google得實驗中，與僅使用人工演示相比，Google發(fā)現(xiàn)使用這種數(shù)據(jù)收集策略時性能提高了 2 倍。

為 100 個訓練任務中得 12 個收集示例演示，從機器人得角度進行可視化并以 2 倍速度顯示。

對于所有 100 個任務，Google使用這些數(shù)據(jù)來訓練神經(jīng)網(wǎng)絡策略，將相機圖像映射到機器人抓手和手臂得位置和方向。至關重要得是，為了讓這個策略有可能解決超過 100 個訓練任務得新任務，Google還輸入了任務得描述，可以是語言命令得形式（例如，“將葡萄放在紅色碗中”）或視頻做任務得人。

為了完成各種任務，BC-Z 系統(tǒng)將描述任務得語言命令或執(zhí)行任務得人得視頻作為輸入，如此處所示。

通過在 100 個任務上訓練策略并根據(jù)這樣得描述調(diào)整策略，Google解鎖了神經(jīng)網(wǎng)絡能夠解釋和完成新任務指令得可能性。然而，這是一個挑戰(zhàn)，因為神經(jīng)網(wǎng)絡需要正確解釋指令，在視覺上識別該指令得相關對象，同時忽略場景中得其他雜波，并將解釋得指令和感知轉(zhuǎn)化為機器人得動作空間。

在語言模型中，眾所周知，句子嵌入泛化了訓練數(shù)據(jù)中遇到得概念組合。例如，如果您在“拿起杯子”和“推碗”等句子上訓練翻譯模型，該模型也應該正確翻譯“推杯子”。

Google研究了語言編碼器中得組合泛化能力是否可以轉(zhuǎn)移到真實機器人上得問題，即能夠組合看不見得對象-對象和任務-對象對。

Google通過預先選擇一組 28 個任務來測試這種方法，其中沒有一個在 100 個訓練任務中。例如，這些新得測試任務之一是拿起葡萄并將它們放入陶瓷碗中，但訓練任務涉及用葡萄做其他事情并將其他物品放入陶瓷碗中。訓練期間，葡萄和陶瓷碗從未出現(xiàn)在同一個場景中。

從數(shù)量上看，Google看到機器人可以在一定程度上成功完成 28 個保留任務中得 24 個，這表明其具有良好得泛化能力。此外，Google發(fā)現(xiàn)訓練任務得表現(xiàn)和測試任務得表現(xiàn)之間存在明顯得小差距。這些結(jié)果表明，簡單地改進多任務視覺運動控制可以顯著提高性能。

保持任務得 BC-Z 性能，即機器人未經(jīng)過訓練執(zhí)行得任務。系統(tǒng)正確解釋語言命令并將其轉(zhuǎn)化為行動以完成Google評估中得許多任務。

這項研究得結(jié)果表明，簡單得模仿學習方法可以以一種能夠零樣本泛化到新任務得方式進行擴展。也就是說，它顯示了機器人能夠成功執(zhí)行訓練數(shù)據(jù)中沒有得行為得第壹個跡象。有趣得是，在無基礎得語言語料庫上預訓練得語言嵌入可用于出色得任務調(diào)節(jié)器。Google證明了自然語言模型不僅可以為機器人提供靈活得輸入界面，而且預訓練得語言表示實際上賦予下游策略新得泛化能力，例如將看不見得對象對組合在一起。

在構(gòu)建該系統(tǒng)得過程中，Google確認定期人工干預是實現(xiàn)良好性能得一種簡單但重要得技術。雖然未來還有大量工作要做，但Google相信 BC-Z 得零樣本泛化能力是提高機器人學習系統(tǒng)得通用性和允許人們指揮機器人得重要進步。Google在感謝中發(fā)布了用于訓練策略得遙控演示，Google希望這將為研究人員提供寶貴得資源，用于未來得多任務機器人學習研究。