對于人類來說，找到埋在一堆東西下面的丟失的錢包是非常簡單的，因為我們只需要從那堆東西中取出東西，直到找到錢包就可以了。但對于一個機器人來說，這項任務需要對其中的堆和物體進行復雜的推理，這是一個嚴峻的挑戰(zhàn)。

麻省理工學院的研究人員此前展示了一種結合了視覺信息和射頻(RF)信號的機械臂，它可以找到帶有RFID標簽(這種標簽反射天線發(fā)出的信號)的隱藏物體。在這項工作的基礎上，他們現(xiàn)在開發(fā)了一種新的系統(tǒng)，可以有效地檢索埋在堆里的任何物體，只要堆中的一些物品有RFID標簽，目標物品不需要被標記，系統(tǒng)就可以恢復它。

該系統(tǒng)背后的算法被稱為FuseBot，可以判斷堆下物體的可能位置和方向。然后FuseBot找到最有效的方法移除障礙物，提取目標物品。這種推理使FuseBot比最先進的機器人系統(tǒng)找到更多的隱藏物品，時間并能縮短了一半。

這種速度在電子商務倉庫中尤其有用，一個負責處理回報的機器人可以通過FuseBot系統(tǒng)更有效地在未分類的堆中找到物品，電子工程與計算機科學系副教授、媒體實驗室信號動力學小組主任Fadel Adib說。

“這篇論文首次表明，環(huán)境中僅存在帶有 RFID 標簽的物品就可以讓您更輕松地以更有效的方式完成其他任務，我們能夠做到這一點是因為我們在系統(tǒng)中添加了多模態(tài)推理，F(xiàn)useBot可以通過視覺和射頻推理來理解一堆物品?！盇dib補充道。

與Adib一起發(fā)表這篇論文的還有研究助理Tara Boroushaki，她是論文的第一作者，還有Laura Dodds和Nazish Naeem，該研究將在機器人：科學與系統(tǒng)會議上發(fā)表。

定位標簽

最近的一份市場報告顯示，超過90%的美國零售商現(xiàn)在使用RFID標簽，但這項技術并不普遍，在一堆物品中只有部分物品被貼上標簽。

這個問題啟發(fā)了這個小組的研究。在FuseBot中，機械臂使用一個附加的攝像機和射頻天線從混合堆中檢索未標記的目標物品。該系統(tǒng)用攝像頭掃描樁，創(chuàng)建環(huán)境的3D模型。同時，它從天線發(fā)送信號來定位RFID標簽。這些無線電波可以穿過大多數(shù)固體表面，因此機器人可以“看到”堆的深處。由于目標物品沒有標記，F(xiàn)useBot知道該物品不能與RFID標簽位于完全相同的位置。

算法融合這些信息來更新環(huán)境的3D模型，并突出目標物品的潛在位置，機器人知道自己的大小和形狀，然后系統(tǒng)根據(jù)堆中物品的位置和RFID標簽的位置來確定需要移除的物品，以最少的移動找到目標物品。

Boroushaki說，將這種推理納入系統(tǒng)是具有挑戰(zhàn)性的。

機器人不知道堆下的物體是如何定位的，也不知道一個黏糊糊的物體會如何被更重的物體壓變形，它通過概率推理克服了這一挑戰(zhàn)，利用它所知道的物體的大小和形狀以及它的RFID標簽位置來建模該物體可能占據(jù)的3D空間。

當它刪除條目時，它也會使用推理來決定接下來刪除哪個條目是“最好的”。

Boroushaki說：“如果我給一個人一堆東西去搜索，他們很可能會先把最大的東西拿掉，看看下面有什么。機器人所做的事情與此類似，但它還融入了RFID信息，以做出更明智的決定。如果它從表面上移除這個東西，它會對這堆東西了解多少?’”

在移除一個物體后，機器人會再次掃描這個堆，并利用新的信息來優(yōu)化它的策略。

檢索結果

這種推理以及它對射頻信號的使用，讓FuseBot比只使用視覺的最先進的系統(tǒng)更有優(yōu)勢。該團隊使用真正的機械臂進行了180多次實驗，并放置了辦公用品、填充動物和服裝等家庭用品，他們改變了每一堆物品的大小和有射頻識別標簽的數(shù)量。

FuseBot系統(tǒng)提取目標物品的成功率為95%，而其他機器人系統(tǒng)的成功率為84%。它通過減少40%的移動完成了這一點，并且能夠以兩倍多的速度找到和檢索目標物品。

Dodds說：“我們看到，通過結合這種射頻信息，成功率有了很大提高。令人興奮的是，我們能夠匹配我們之前的系統(tǒng)的性能，并在目標物品沒有RFID標簽的情況下超過它?！?/p>

Boroushaki補充說，F(xiàn)useBot可以應用于各種環(huán)境，因為執(zhí)行復雜推理的軟件可以在任何計算機上實現(xiàn)，它只需要與帶有攝像頭和天線的機械臂通信。

在不久的將來，研究人員計劃在FuseBot中加入更復雜的模型，使其在可變形物體上表現(xiàn)更好。除此之外，他們還對探索不同的操作方式感興趣，比如用機械臂將物品推開。該系統(tǒng)的未來迭代還可以用于移動機器人，在多個堆中尋找丟失的物體。