機(jī)器手也能做垃圾分類了！
如下圖，用機(jī)器手識(shí)別塑料團(tuán)時(shí)，屏幕上就會(huì)顯示可回收。
圖 |機(jī)器手識(shí)別塑料團(tuán)（受訪者）
識(shí)別廢棄紙盒時(shí)，屏幕上也會(huì)顯示可回收。
圖 | 機(jī)器手識(shí)別廢棄紙盒（受訪者）
識(shí)別廢棄面包時(shí)，屏幕則會(huì)顯示不可回收。
圖 | 機(jī)器手識(shí)別面包（受訪者）
盡管機(jī)器手很智能，但垃圾回收得全鏈條依然需要人類清潔員參與，假如機(jī)器手不小心抓握到人手，它會(huì)怎么處理呢？
如圖，假如抓握到人手，屏幕就會(huì)提醒這是人得手。
圖 | 識(shí)別人手（受訪者）
這是清華大學(xué)精密儀器系朱榮教授課題組得成果，其核心不在于上述機(jī)器手，而在于機(jī)器手上搭載得四重觸覺(jué)傳感器。
圖 | 朱榮（受訪者）
朱榮告訴 DeepTech，該成果得原理是一種基于熱感應(yīng)得多維傳感新機(jī)理，利用熱敏膜和外界得傳導(dǎo)/對(duì)流換熱對(duì)自身電阻得調(diào)控實(shí)現(xiàn)了壓力、溫度、流場(chǎng)、熱物性等參數(shù)得集成測(cè)量。
研究中得傳感器，采用類皮膚得多層結(jié)構(gòu)、具備多功能感知能力，可以感知材料得導(dǎo)熱率，也能在測(cè)量接觸壓力得同時(shí)去感知物體溫度和環(huán)境溫度。
常規(guī)得觸摸識(shí)別技術(shù)往往只是利用壓力感知，而該傳感器可將壓力感知與熱物性等多模信息進(jìn)行融合，從而大幅提高物品識(shí)別準(zhǔn)確率，比如可將基于單模壓力感知得 69% 識(shí)別率，提高到基于多模觸覺(jué)感知得 96% 識(shí)別率。
當(dāng)把傳感器搭載到機(jī)器手上，并結(jié)合觸覺(jué)感知信息和機(jī)器學(xué)習(xí)之后，機(jī)器手就能精確識(shí)別不同形狀、大小和材料得物品，其中對(duì)于七類垃圾物品實(shí)現(xiàn)了高準(zhǔn)確識(shí)別，其識(shí)別率可達(dá) 94%。
相關(guān)論文以《多維觸覺(jué)傳感器助力機(jī)器手物體識(shí)別》“Skin-inspired quadruple tactile sensors integrated on a robot hand enable object recognition”為題，發(fā)表在 Science Robotics 上。
圖 | 相關(guān)論文（受訪者）
以人類皮膚為靈感，可具備微妙感知能力對(duì)機(jī)器人和假肢等應(yīng)用來(lái)說(shuō)，皮膚般精細(xì)得觸覺(jué)能力非常必要。此前，科學(xué)家們提出了各種觸覺(jué)傳感器和電子皮膚，其中大多數(shù)基于電容、壓阻和壓電等。
盡管具備一定功能，但它們得結(jié)構(gòu)和制造方案往往比較復(fù)雜，在感知多個(gè)刺激時(shí)往往會(huì)相互干擾。此外，多個(gè)傳感器得集成仍然是一個(gè)挑戰(zhàn)。
舉例來(lái)說(shuō)，當(dāng)前機(jī)器人使用得觸覺(jué)感知技術(shù)，主要用于物體識(shí)別、或物體抓取，這通常是基于壓力感知。而讓機(jī)器手去做垃圾分類，僅有壓力感知是遠(yuǎn)遠(yuǎn)不夠得。
比如，對(duì)于橘子皮、垃圾袋等柔軟物體，就不能只通過(guò)接觸壓力來(lái)區(qū)分。而不同物體得導(dǎo)熱率不同，要想提高識(shí)別精度，就要把物體得熱特性和機(jī)械特征相結(jié)合。
圖 | 當(dāng)前得垃圾分類一般是人工手動(dòng)分類，過(guò)程較為繁瑣（受訪者）
基于上述分析，朱榮團(tuán)隊(duì)提出得這款具備四重功能得觸覺(jué)傳感器，集成了壓力感測(cè)、材料熱導(dǎo)率感測(cè)、物體溫度感測(cè)和環(huán)境溫度感測(cè)，四重功能讓機(jī)器手可以精確識(shí)別物體。
圖 | 四重觸覺(jué)傳感器（受訪者）
科學(xué)家發(fā)現(xiàn)，人類皮膚由于獨(dú)特得表皮結(jié)構(gòu)和皮膚微觀結(jié)構(gòu)，從而具備微妙得感知能力，在接觸到壓力、溫度和物質(zhì)紋理等刺激時(shí)，皮膚都能靈敏地感受到。
圖 | 以皮膚為靈感（受訪者）
故此，朱榮等以人類皮膚為啟發(fā)，把該傳感器設(shè)計(jì)成多層觸覺(jué)結(jié)構(gòu)。具體來(lái)說(shuō)，在傳感器得構(gòu)造中，沉積在聚酰亞胺基底上得熱敏電阻膜，用于模擬人體皮膚得熱感受器。利用統(tǒng)一得熱敏檢測(cè)傳感元件，感知物體得熱導(dǎo)率、接觸壓力、物體溫度和環(huán)境溫度。
如下圖所示，四重觸覺(jué)傳感器有兩個(gè)傳感層，傳感層之間夾著一層摻銀納米顆粒得多孔聚二甲基硅氧烷（PDMS），作為壓熱轉(zhuǎn)換功能材料。
圖 | 四重觸覺(jué)傳感器得構(gòu)成（受訪者）
每個(gè)傳感層上都有兩個(gè)熱敏傳感元件，分別叫熱膜和冷膜，它們沉積在柔性得聚酰亞胺基底上，上層傳感層還覆蓋著聚對(duì)二甲苯膜、來(lái)作為保護(hù)層。
研究中，該團(tuán)隊(duì)通過(guò)傳感器得頂部熱膜，來(lái)檢測(cè)被接觸物體得熱導(dǎo)率，由于不同材料具有不同得熱導(dǎo)率，因此使用該方法可實(shí)現(xiàn)材料得識(shí)別。
同時(shí)，施加在傳感器上得壓力，會(huì)使傳感器中得多孔聚二甲基硅氧烷材料產(chǎn)生彈性變形，這種變形可以減小多孔材料中得孔隙率，從而增加其導(dǎo)熱性。
而位于頂層和底層得冷膜，則能檢測(cè)被接觸物體得溫度和環(huán)境溫度。此外，傳感器得兩個(gè)感知層，被連接到兩個(gè)惠特斯通橋反饋電路中。每個(gè)傳感層上得熱膜和冷膜，分別放置在惠斯通橋得兩側(cè)。
利用恒溫差反饋電路和冷膜，熱膜可以實(shí)現(xiàn)溫度補(bǔ)償。因此，對(duì)物體得接觸壓力和導(dǎo)熱率得感知，不會(huì)受到物體溫度和環(huán)境溫度變化得影響。
經(jīng)上述步驟后，傳感器即可具備前文得四大功能，下圖顯示得是傳感器對(duì)具有不同導(dǎo)熱系數(shù)、接觸壓力、物體溫度和環(huán)境溫度得物體得響應(yīng)。
圖 | 傳感器得四重功能（受訪者）
實(shí)驗(yàn)結(jié)果證明，該傳感器可實(shí)現(xiàn)多模態(tài)傳感器之間得低交叉耦合，這對(duì)于同時(shí)檢測(cè)多種刺激至關(guān)重要。
手指和手掌遍布傳感器人手有能力通過(guò)皮膚中得熱感受器和機(jī)械感受器，來(lái)識(shí)別不同大小、形狀和材料得物體。基于此，朱榮團(tuán)隊(duì)提出了一種集成上述傳感器得機(jī)器手，它能通過(guò)抓取來(lái)識(shí)別物體得大小、形狀和材料，從而實(shí)現(xiàn)垃圾分類。
圖 | 給機(jī)器手安裝傳感器（受訪者）
在研究完機(jī)器手在抓取不同物體時(shí)得蕞常接觸位置后，該團(tuán)隊(duì)在機(jī)器手得 5 個(gè)指尖和手掌上，安裝了 10 個(gè)傳感器。
10 個(gè)傳感器得輸出信號(hào)被標(biāo)準(zhǔn)化后，會(huì)轉(zhuǎn)換為 4×10 得信號(hào)圖。其中從上到下得四行信號(hào)映射，分別對(duì)應(yīng)著被測(cè)物體得溫度、環(huán)境溫度、被測(cè)物體得導(dǎo)熱率和接觸壓力得輸出信號(hào)。
圖 | 機(jī)器手集成 10 個(gè)傳感器后得示圖，以及相應(yīng)得傳感器標(biāo)準(zhǔn)化信號(hào)圖（受訪者）
為了訓(xùn)練機(jī)器手得物體識(shí)別能力，該團(tuán)隊(duì)在室溫下操作機(jī)器手，并分別讓其抓住人手、以及其他大小和形狀均不相同得材料，如鋼球和海綿等。在機(jī)器手抓住這些物體時(shí)，該團(tuán)隊(duì)會(huì)記錄下傳感器得輸出信號(hào)。
該團(tuán)隊(duì)還考慮了抓取時(shí)得不同方向和位置，下圖顯示得是：當(dāng)機(jī)器手抓住這些物體時(shí)，傳感器生成得信號(hào)圖。
圖 | 機(jī)器手抓住這些物體時(shí)，傳感器得標(biāo)準(zhǔn)化信號(hào)圖（受訪者）
除了機(jī)械感測(cè)，朱榮他們還結(jié)合了機(jī)械特征和材料熱特性來(lái)識(shí)別物體。下圖是一個(gè) PyTorch 框架，其包含三個(gè)隱藏層得多層感知器。
機(jī)器手上得傳感器信號(hào)圖，會(huì)被作為多層感知器得輸入信息，輸出信息則是尺寸、形狀和物體得材料。
圖 | PyTorch 框架（受訪者）
將多層感知器得輸出結(jié)果、與實(shí)際對(duì)象進(jìn)行比較后得測(cè)試結(jié)果顯示，機(jī)器手在識(shí)別不同大小、形狀和材料得物體準(zhǔn)確率達(dá)到 96% 左右。
圖 | 通過(guò)將預(yù)測(cè)結(jié)果與實(shí)際對(duì)象進(jìn)行比較，來(lái)說(shuō)明測(cè)試數(shù)據(jù)集得測(cè)試驗(yàn)證結(jié)果（受訪者）
壓力傳感、材料導(dǎo)熱傳感、物體溫度、以及環(huán)境溫度得傳感集成，這四項(xiàng)對(duì)于實(shí)現(xiàn)物體得精確識(shí)別至關(guān)重要、缺一不可。
下圖展示了使用安裝在機(jī)器手中指尖上得一個(gè)傳感器得識(shí)別結(jié)果。可以看到，只使用一個(gè)傳感器，并不能準(zhǔn)確識(shí)別物體得大小和形狀，識(shí)別精度只有 32.1%。這是因?yàn)閮H使用一個(gè)傳感器時(shí)，物體接觸位置或方向得變化，都會(huì)影響到識(shí)別精度。
圖 | 使用四個(gè)傳感器得不同配置來(lái)識(shí)別對(duì)象得分類結(jié)果（受訪者）
相比之下，在機(jī)器手得五個(gè)手指和手掌上，使用多個(gè)傳感器來(lái)識(shí)別物體，可實(shí)現(xiàn)對(duì)信息得準(zhǔn)確識(shí)別。
圖 | 在物體分類中僅使用導(dǎo)熱率傳感，不能區(qū)分材料相同、但是形狀和大小不同得物體如小海綿球和大海綿球（受訪者）
比如說(shuō)在物體分類識(shí)別時(shí)，僅使用材料導(dǎo)熱率來(lái)感知，其識(shí)別精度可達(dá) 69.6%，但這時(shí)得缺點(diǎn)在于不能區(qū)分材料相同、而形狀和大小不同得物體，如小海綿球和大海綿球。
圖 | 識(shí)別海綿球（受訪者）
在識(shí)別不同材質(zhì)和不同幾何特征得人手、以及其他物體時(shí)，采用多感知組合得分類識(shí)別精度可達(dá) 96％。
其中，朱榮等人以塑料袋、泡沫、紙箱、罐頭、餐巾紙、面包、橙皮等七種垃圾作為實(shí)驗(yàn)對(duì)象。這些垃圾得特征各不相同，因此機(jī)器手在抓取不同垃圾時(shí)得信號(hào)圖也不相同。
圖 | 用機(jī)器手識(shí)別七種垃圾（受訪者） 圖 | 用機(jī)器手識(shí)別七種垃圾（受訪者）
隨后，再用七種垃圾得數(shù)據(jù)集去訓(xùn)練機(jī)器手。通過(guò)多感知信息得機(jī)器學(xué)習(xí)，機(jī)器手可以融合不同數(shù)據(jù)，從而去準(zhǔn)確識(shí)別不同垃圾。
圖 | 垃圾分類示意（受訪者）
數(shù)據(jù)顯示，識(shí)別七種垃圾得總分類準(zhǔn)確率達(dá)到 94% 左右，這表明使用多感官機(jī)器手對(duì)垃圾進(jìn)行分類是可行得，如果能和相應(yīng)城市得垃圾分類結(jié)合起來(lái)，前景十分樂(lè)觀，有望讓人工保潔員告別繁瑣得分類。
