日前，全球計算機視覺(jué)頂級會(huì )議CVPR（IEEE Conference on Computer Vision and Pattern Recognition）公布了2021年論文接收結果。來(lái)自創(chuàng )新奇智的論文 《Zero-Shot Instance Segmentation》成功被CVPR 2021接收。
CVPR是計算機視覺(jué)領(lǐng)域三大頂級會(huì )議（CVPR、ICCV、ECCV）之一。CVPR的論文投稿量近五年來(lái)持續增長(cháng)，根據CVPR官方網(wǎng)站統計，2021年一共收到有效投稿論文超過(guò)7500篇，最終1663篇論文被接收，接收率為27.3%。在激烈的競爭中，創(chuàng )新奇智投稿的論文脫穎而出，顯示創(chuàng )新奇智在計算機視覺(jué)領(lǐng)域深厚的創(chuàng )新力。
創(chuàng )新奇智被CVPR2021接收的論文提出了零樣本實(shí)例分割，屬于零樣本物體檢測的自然延伸(類(lèi)似于Mask-RCNN之于Faster-RCNN)。
創(chuàng )新奇智在將人工智能應用到商業(yè)化實(shí)踐的過(guò)程中，會(huì )遇到AI落地過(guò)程中非?，F實(shí)的問(wèn)題，尤其是在面向信息化程度有限，樣本復雜多樣，正樣本數量奇缺或需要非常專(zhuān)業(yè)標注方法的制造業(yè)場(chǎng)景時(shí)，其中的數據獲取困難、標注成本高等行業(yè)難題成為眾多AI公司快速商業(yè)化的桎梏。
創(chuàng )新奇智針對這一難題展開(kāi)深入研究，獲得了突破性的創(chuàng )新結果，該結果對于數據發(fā)現、數據粗篩、輔助標注、模型基本能力探索等方面有巨大的提升。
論文解讀
論文摘要中文解讀：
深度學(xué)習可以利用大量的標注數據來(lái)有效地提升實(shí)例分割的精度，但是在諸如醫療和工業(yè)領(lǐng)域，要么收集足夠的數據非常困難，要么標注數據需要非常專(zhuān)業(yè)的知識。從這點(diǎn)出發(fā)，我們提出了一個(gè)新的任務(wù)稱(chēng)之為零樣本實(shí)例分割(Zero-Shot Instance Segmentation)，文中簡(jiǎn)稱(chēng)ZSI。ZSI的任務(wù)要求在訓練過(guò)程中，只用已經(jīng)見(jiàn)過(guò)并有標注的數據進(jìn)行訓練，但在測試和推理時(shí)能夠同時(shí)分割出見(jiàn)過(guò)和沒(méi)見(jiàn)過(guò)的物體實(shí)例。我們先用數學(xué)語(yǔ)言對該任務(wù)進(jìn)行描述，然后提出了一個(gè)方法來(lái)解決ZSI的問(wèn)題。我們的方法包括零樣本檢測器(Zero-shot Detector)、語(yǔ)義蒙版頭(Semantic Mask Head)、背景感知RPN和背景同步策略。我們同時(shí)也提供了在MS-COCO數據集上的基準測試。實(shí)驗結果表明，我們提出的方法不僅在ZSI的任務(wù)上效果不錯，在零樣本檢測任務(wù)上也取得了比之前已有研究更好的表現。我們的方法可以作為一條堅實(shí)的基準，能夠有效的幫助未來(lái)的研究者進(jìn)行零樣本實(shí)例分割的研究。
主要貢獻
1. 引出并定義出現實(shí)世界中遇到的零樣本的實(shí)例分割任務(wù)。
2. 針對零樣本實(shí)例分割任務(wù)，提出應對的算法，該算法是基于背景感知的檢測-分割框架。
3. 定義了零樣本分割(ZSI)自己獨特的測試基準。
4. 測試結果表明在ZSD任務(wù)上超越了已有的方法，且在ZSI任務(wù)上的結果很有競爭力。
圖1：零樣本實(shí)例分割示例
在零樣本實(shí)例分割中，開(kāi)始只使用標注的數據（標記為seen）作為訓練集訓練模型，在訓練完模型之后，使模型對訓練時(shí)候見(jiàn)到過(guò)（seen）的類(lèi)別和模型訓練的時(shí)候沒(méi)有見(jiàn)到(unseen)的類(lèi)別分別進(jìn)行預測。在論文提出的方法中，如圖1，餐刀是在訓練模型的時(shí)候見(jiàn)過(guò)的類(lèi)別，叉子是在訓練模型的時(shí)候沒(méi)有見(jiàn)過(guò)的類(lèi)別，通過(guò)訓練圖像模型，同時(shí)維持一個(gè)餐刀和叉子在語(yǔ)義層面的特征向量來(lái)進(jìn)行聯(lián)系。
整個(gè)零樣本實(shí)例分割的框架如圖2所示。對于一張輸入圖像來(lái)講，首先要使用骨干網(wǎng)絡(luò )(backbone)，BA-RPN和ROI Align來(lái)提取視覺(jué)特征和背景的詞向量，然后經(jīng)過(guò)Sync-bg模塊后分別送入零樣本檢測器和語(yǔ)義分割頭，從而得到實(shí)例分割的結果。
圖2：零樣本實(shí)例分割的框架
零樣本檢測器的設計細節如圖3所示，采用了編碼-解碼結構，在測試/推理時(shí)只是用解碼器的Te
圖3：零樣本檢測器的設計細節
圖4：語(yǔ)義分割頭
語(yǔ)義分割頭的結構如圖4所示，它是一個(gè)encoder-decoder的架構，在訓練階段，使用encoder來(lái)把圖像的特征編碼到語(yǔ)義-文字特征向量。然后使用decoder把上面構建的語(yǔ)義-文字特征向量去重建圖像的任務(wù)：檢測，分割等。
不同模塊的作用如表1所示，可以看到，每個(gè)模塊都對結果有一定的提升，當按照論文提出的方法結合在一起時(shí)，達到最佳的效果。
表1：每個(gè)模塊的效果
實(shí)驗結果
首先如論文開(kāi)頭所說(shuō)，該方法在Zero-shot Detection的任務(wù)（數據集是COCO）上也明顯超越了已有的state-of-the-art的結果，達到了新的SOTA。
對于ZSI和GZSI（即零樣本實(shí)例分割和通用零樣本實(shí)例分割）任務(wù)來(lái)講，論文的結果也非常不錯，見(jiàn)表3和表4
局限性分析：
零樣本實(shí)例分割致力于解決工業(yè)場(chǎng)景中數據少，或者是數據難以發(fā)現和標注的問(wèn)題，可以在沒(méi)有標注數據的情況下標注出新的類(lèi)。但需要指出的是，正如當前階段的AI不可能自己學(xué)會(huì )完全沒(méi)見(jiàn)過(guò)的知識一樣，論文提出的方法采用了詞向量這個(gè)額外特征作為中間媒介，然后把問(wèn)題的核心轉換為如何利用額外特征在特征空間對齊視覺(jué)特征和語(yǔ)義信息，并遷移到?jīng)]有見(jiàn)過(guò)的新類(lèi)上。
創(chuàng )新奇智CTO張發(fā)恩指出：“創(chuàng )新奇智提出的零樣本實(shí)例分割算法，是業(yè)界首次提出可以使用零樣本算法來(lái)做實(shí)例分割的方法，同時(shí)還能夠提升業(yè)界最新的零樣本檢測算法的準確率。尤其是對創(chuàng )新奇智來(lái)說(shuō)，深度耕耘智能制造，在很多場(chǎng)景下，視覺(jué)系統所產(chǎn)生的數據形式多樣，沒(méi)有統一標準，很難直接使用深度學(xué)習的算法模型來(lái)使用。這個(gè)時(shí)候如果能夠使用零樣本學(xué)習的方法達到數據發(fā)現、數據粗篩、輔助標注、模型基本能力探索等工作顯現的尤為重要。這也是我們做這項研究的初衷?！?/span>
創(chuàng )新奇智聚焦智能制造，致力用人工智能創(chuàng )新技術(shù)解決復雜的工業(yè)生產(chǎn)問(wèn)題，三年來(lái)已服務(wù)中冶賽迪、中鐵四局、中集、宗申、華電電科院等多家行業(yè)龍頭企業(yè)，積累和沉淀了豐富的行業(yè)實(shí)踐，提出一系列能解決實(shí)際問(wèn)題的創(chuàng )新算法和產(chǎn)品或解決方案，如少樣本學(xué)習、零樣本實(shí)例分割、混合級聯(lián)實(shí)例分割算法、物理缺陷模擬等。在智能制造已成為國家戰略舉措的時(shí)代背景下，創(chuàng )新奇智將繼續在制造業(yè)領(lǐng)域精耕細作，打造更多的AI創(chuàng )新實(shí)踐。