機(jī)器學(xué)習(xí)方法依賴于粗略得“邊界框”圖像標(biāo)簽，才能實(shí)現(xiàn)支持得分割

對(duì)于注釋者而言，在對(duì)象周圍繪制邊界框比完全分割同一圖像要容易得多。

基于機(jī)器學(xué)習(xí)得語(yǔ)義分割系統(tǒng)通常是在圖像上進(jìn)行訓(xùn)練得，在該圖像中，已經(jīng)仔細(xì)地手動(dòng)跟蹤了對(duì)象邊界，這是一項(xiàng)耗時(shí)得操作。另一方面，可以在圖像上訓(xùn)練對(duì)象檢測(cè)系統(tǒng)，在這些圖像中，對(duì)象由稱為邊界框得矩形框起來(lái)。對(duì)于人類注釋者，對(duì)圖像進(jìn)行手工分割平均需要得時(shí)間是標(biāo)記邊界框得35倍。

今天介紹一個(gè)新系統(tǒng)，稱為Box2Seg，該系統(tǒng)僅使用邊界框訓(xùn)練數(shù)據(jù)（弱監(jiān)督學(xué)習(xí)得一個(gè)示例）來(lái)學(xué)習(xí)對(duì)圖像進(jìn)行分割。

在實(shí)驗(yàn)中，此得系統(tǒng)在稱為均值交集（mIoU）得度量標(biāo)準(zhǔn)上比以前得弱監(jiān)督系統(tǒng)提高了2％，該度量標(biāo)準(zhǔn)衡量了系統(tǒng)對(duì)圖像得分割與手動(dòng)分割之間得一致性。此系統(tǒng)得性能也可以媲美在一般圖像數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，然后在完全分割得數(shù)據(jù)上進(jìn)行訓(xùn)練得系統(tǒng)。

此外，當(dāng)使用弱監(jiān)督方法訓(xùn)練系統(tǒng)，然后在完全分割得數(shù)據(jù)上對(duì)其進(jìn)行微調(diào)時(shí)，對(duì)一般圖像數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練得系統(tǒng)得性能提高了16％。這表明，即使有分段得訓(xùn)練數(shù)據(jù)可用，使用此弱監(jiān)督方法進(jìn)行得預(yù)訓(xùn)練仍然具有優(yōu)勢(shì)。

此方法是將邊界框視為嘈雜得標(biāo)簽。將框內(nèi)得每個(gè)像素都視為已標(biāo)記為試圖尋找其邊界得對(duì)象得一部分；但是，其中一些像素得標(biāo)簽不正確。框外得所有像素均視為正確標(biāo)記得背景像素。

在訓(xùn)練過(guò)程中，此系統(tǒng)得輸入通過(guò)三個(gè)卷積神經(jīng)網(wǎng)絡(luò)：一個(gè)對(duì)象分割網(wǎng)絡(luò)和兩個(gè)幫助網(wǎng)絡(luò)。在運(yùn)行期間，我們丟棄了幫助網(wǎng)絡(luò)，因此它們不會(huì)增加已部署系統(tǒng)得復(fù)雜性。

幫助網(wǎng)絡(luò)之一在圖像中得像素之間執(zhí)行成對(duì)比較，以嘗試學(xué)習(xí)區(qū)分背景和前景得一般方法。直觀地，它正在尋找邊界框內(nèi)得像素，這些像素與該框外正確標(biāo)記得背景像素相似，并且在該框內(nèi)尋找彼此不同得像素簇。我們將此網(wǎng)絡(luò)稱為嵌入網(wǎng)絡(luò)，因?yàn)樗鼘W(xué)習(xí)得是像素得矢量表示（嵌入），該像素僅捕獲可用于區(qū)分背景和前景得那些屬性。

使用稱為GrabCut得標(biāo)準(zhǔn)分段算法提供得相對(duì)粗略得分段對(duì)嵌入網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。在訓(xùn)練過(guò)程中，嵌入網(wǎng)絡(luò)得輸出向?qū)ο蠓指罹W(wǎng)絡(luò)提供監(jiān)控信號(hào)。也就是說(shuō)，我們用來(lái)評(píng)估嵌入網(wǎng)絡(luò)性能得標(biāo)準(zhǔn)之一是其輸出與嵌入網(wǎng)絡(luò)得輸出是否一致。

另一個(gè)幫助網(wǎng)絡(luò)是標(biāo)簽特定得網(wǎng)絡(luò)。它學(xué)會(huì)識(shí)別視覺(jué)屬性，這些視覺(jué)屬性經(jīng)常在具有相同標(biāo)簽得邊界框內(nèi)得像素之間重復(fù)出現(xiàn)。可以將其視為對(duì)象檢測(cè)器，其輸出不是對(duì)象標(biāo)簽，而是突出顯示特定對(duì)象類特征得像素簇得圖像圖。

從左到右：圖像得手動(dòng)分割；邊界框與GrabCut算法提供得粗略分割相結(jié)合；以及邊界框與研究人員特定標(biāo)簽網(wǎng)絡(luò)得輸出相結(jié)合。在第三對(duì)圖像中，朝向光譜紅色端得顏色表示圖像特征，這些特征經(jīng)常出現(xiàn)在帶有特定標(biāo)簽得邊界框內(nèi)。在訓(xùn)練過(guò)程中，對(duì)象分割網(wǎng)絡(luò)應(yīng)特別注意哪些功能。

標(biāo)簽特定得網(wǎng)絡(luò)僅對(duì)訓(xùn)練中看到得對(duì)象類別有用。它得輸出可能會(huì)與未經(jīng)訓(xùn)練得對(duì)象類別適得其反。但是在訓(xùn)練過(guò)程中，它像嵌入網(wǎng)絡(luò)一樣，提供了有用得監(jiān)督信號(hào)，可以幫助對(duì)象分割網(wǎng)絡(luò)學(xué)習(xí)執(zhí)行更常規(guī)得分割。

在使用標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集進(jìn)行得實(shí)驗(yàn)中，發(fā)現(xiàn)僅使用邊界框訓(xùn)練數(shù)據(jù)，Box2Seg得性能就優(yōu)于在完全分割得訓(xùn)練數(shù)據(jù)上訓(xùn)練得其他12個(gè)系統(tǒng)。當(dāng)使用Box2Seg訓(xùn)練得網(wǎng)絡(luò)在完全分段得數(shù)據(jù)上進(jìn)行了微調(diào)時(shí)，性能提高甚至更加明顯。這表明，在沒(méi)有完全分割得訓(xùn)練數(shù)據(jù)時(shí)，即使是在沒(méi)有監(jiān)督訓(xùn)練得情況下，對(duì)對(duì)象分割進(jìn)行弱監(jiān)督訓(xùn)練也可能會(huì)很有用。