RM新时代官方网站-首页

AAAI2022丨創(chuàng )新奇智提出雙注意力機制少樣本學(xué)習 助力工業(yè)場(chǎng)景細粒度識別

創(chuàng )新奇智 2022年01月12日

AAAI（The National Conference on Artificial Intelligence）是人工智能領(lǐng)域的主要學(xué)術(shù)組織之一國際先進(jìn)人工智能協(xié)會(huì )（American Association for Artificial Intelligence），主辦的A類(lèi)人工智能學(xué)術(shù)會(huì )議。今年會(huì )議共收到9251篇投稿，最終經(jīng)過(guò)大量的篩選，錄取率僅為15.0%，創(chuàng )下歷史新低。創(chuàng )新奇智投稿的論文脫穎而出，得益于一直以來(lái)在計算機視覺(jué)領(lǐng)域深厚的創(chuàng )新力。


  • 創(chuàng )新奇智此次論文中提出的雙注意力機制少樣本學(xué)習主要針對少樣本細粒度圖像識別任務(wù)。


  • 此方法可用于制造業(yè)等領(lǐng)域標注樣本極少的情況下區分屬于不同子類(lèi)的圖像，如不同車(chē)型的汽車(chē)、不同類(lèi)型的零件、零件上不同種類(lèi)的缺陷等，減少實(shí)際應用場(chǎng)景中對數據量的依賴(lài)，并提高識別正確率。


  • 由于細粒度屬性，該識別任務(wù)的難度在于需要獲取有限訓練數據中細小但具有辨識性的部件級別模式，這使得此問(wèn)題較為挑戰。


  • 創(chuàng )新奇智提出的由硬/軟雙注意力流構成的雙注意力網(wǎng)絡(luò )（DUAL ATT-NET），在三個(gè)常用的細粒度基準數據集上的結果明顯優(yōu)于其他的現有先進(jìn)方法。

論文概述：

  細粒度圖像識別是計算機視覺(jué)和模式識別領(lǐng)域的基礎研究課題，但是大量?jì)?yōu)質(zhì)細粒度圖像數據的獲取和標注需要耗費大量的人力和財力，這為細粒度圖像識別的推廣和使用帶來(lái)了巨大的障礙。

  少樣本學(xué)習是目前研究的熱門(mén)方向之一，能夠極大地減少細粒度圖像識別對于標注樣本的依賴(lài)，故少樣本的設定下進(jìn)行細粒度圖像識別的相關(guān)研究，內容和成果均符合實(shí)際應用的需求。
  本文通過(guò)卷積神經(jīng)網(wǎng)絡(luò )與注意力機制提取圖像中的部件與全局特征，通過(guò)基于圖的多示例學(xué)習對局部特征進(jìn)行建模，豐富了細粒度部分的內在結構相關(guān)性，通過(guò)注意力機制發(fā)掘對細粒度圖像識別有用的微妙全局信息，從而得到更高的少樣本細粒度圖像識別的準確率。

主要貢獻：

1、提出了一種由雙注意力流構成的元學(xué)習方式的新型少樣本細粒度框架，以獲取細粒度定制圖像嵌入表示。


2、開(kāi)發(fā)了包含硬/軟注意力機制的雙注意力網(wǎng)絡(luò )，不僅實(shí)現細粒度物體部分間重要關(guān)聯(lián)的顯式構建，而且能夠隱式獲取細微但有辨識性的細節。


3、基于三個(gè)常用的細粒度基準數據集進(jìn)行了綜合的實(shí)驗，本文提出的模型在識別準確性上明顯優(yōu)于其他解決方案。


9335af6408d1f6580a79244ee2f766c5.png


這是一種基于雙注意力流的少樣本細粒度圖像識別方法，包括以下步驟：


步驟1：提取樣本的特征圖（feature map），生成特征圖的空間注意力圖（spatial attention map）引導，利用注意力引導機制，生成用于軟注意力流的加權特征圖，同時(shí)篩選出用于硬注意力流的深度描述符（deep descriptor）。

步驟2：加權特征圖使用全局聚合操作得到全局嵌入特征；將一個(gè)樣本篩選出的所有深度描述符建模為一個(gè)多示例學(xué)習（multi-instance learning）的包（bag）, 使用基于圖的多示例學(xué)習方法挖掘樣本部件之間的關(guān)系，得到部件嵌入特征。

步驟3：將兩個(gè)注意力流得到的全局嵌入特征和部件嵌入特征拼接得到樣本最終的嵌入表示，基于原型表示和最近鄰方法進(jìn)行類(lèi)別預測和模型訓練。


本方法與現有技術(shù)相比，其顯著(zhù)優(yōu)點(diǎn)為：


（1）本方法使用了兩個(gè)注意力流分別得到了部件級別的關(guān)鍵信息和全局聚合信息，不僅對細粒度圖像識別提供了區分新的部件級信息，也補充了對細粒度圖像識別有用的微妙全局信息。

（2）對于硬注意力流，使用多示例方法將篩選出的有用深度描述符建模為包，并基于圖的方法對包進(jìn)行編碼一體化得到對應細粒度部件的深度描述符的整體表示，豐富了細粒度部分的內在結構相關(guān)性。

（3）與基于雙線(xiàn)性池的方法相比，我們的方法復雜度更低更加易于訓練且有更高的識別效率。



返回動(dòng)態(tài)列表

AAAI2022丨創(chuàng )新奇智提出雙注意力機制少樣本學(xué)習 助力工業(yè)場(chǎng)景細粒度識別

創(chuàng )新奇智 2022年01月12日

AAAI（The National Conference on Artificial Intelligence）是人工智能領(lǐng)域的主要學(xué)術(shù)組織之一國際先進(jìn)人工智能協(xié)會(huì )（American Association for Artificial Intelligence），主辦的A類(lèi)人工智能學(xué)術(shù)會(huì )議。今年會(huì )議共收到9251篇投稿，最終經(jīng)過(guò)大量的篩選，錄取率僅為15.0%，創(chuàng )下歷史新低。創(chuàng )新奇智投稿的論文脫穎而出，得益于一直以來(lái)在計算機視覺(jué)領(lǐng)域深厚的創(chuàng )新力。


  • 創(chuàng )新奇智此次論文中提出的雙注意力機制少樣本學(xué)習主要針對少樣本細粒度圖像識別任務(wù)。


  • 此方法可用于制造業(yè)等領(lǐng)域標注樣本極少的情況下區分屬于不同子類(lèi)的圖像，如不同車(chē)型的汽車(chē)、不同類(lèi)型的零件、零件上不同種類(lèi)的缺陷等，減少實(shí)際應用場(chǎng)景中對數據量的依賴(lài)，并提高識別正確率。


  • 由于細粒度屬性，該識別任務(wù)的難度在于需要獲取有限訓練數據中細小但具有辨識性的部件級別模式，這使得此問(wèn)題較為挑戰。


  • 創(chuàng )新奇智提出的由硬/軟雙注意力流構成的雙注意力網(wǎng)絡(luò )（DUAL ATT-NET），在三個(gè)常用的細粒度基準數據集上的結果明顯優(yōu)于其他的現有先進(jìn)方法。

論文概述：

  細粒度圖像識別是計算機視覺(jué)和模式識別領(lǐng)域的基礎研究課題，但是大量?jì)?yōu)質(zhì)細粒度圖像數據的獲取和標注需要耗費大量的人力和財力，這為細粒度圖像識別的推廣和使用帶來(lái)了巨大的障礙。

  少樣本學(xué)習是目前研究的熱門(mén)方向之一，能夠極大地減少細粒度圖像識別對于標注樣本的依賴(lài)，故少樣本的設定下進(jìn)行細粒度圖像識別的相關(guān)研究，內容和成果均符合實(shí)際應用的需求。
  本文通過(guò)卷積神經(jīng)網(wǎng)絡(luò )與注意力機制提取圖像中的部件與全局特征，通過(guò)基于圖的多示例學(xué)習對局部特征進(jìn)行建模，豐富了細粒度部分的內在結構相關(guān)性，通過(guò)注意力機制發(fā)掘對細粒度圖像識別有用的微妙全局信息，從而得到更高的少樣本細粒度圖像識別的準確率。

主要貢獻：

1、提出了一種由雙注意力流構成的元學(xué)習方式的新型少樣本細粒度框架，以獲取細粒度定制圖像嵌入表示。


2、開(kāi)發(fā)了包含硬/軟注意力機制的雙注意力網(wǎng)絡(luò )，不僅實(shí)現細粒度物體部分間重要關(guān)聯(lián)的顯式構建，而且能夠隱式獲取細微但有辨識性的細節。


3、基于三個(gè)常用的細粒度基準數據集進(jìn)行了綜合的實(shí)驗，本文提出的模型在識別準確性上明顯優(yōu)于其他解決方案。


9335af6408d1f6580a79244ee2f766c5.png


這是一種基于雙注意力流的少樣本細粒度圖像識別方法，包括以下步驟：


步驟1：提取樣本的特征圖（feature map），生成特征圖的空間注意力圖（spatial attention map）引導，利用注意力引導機制，生成用于軟注意力流的加權特征圖，同時(shí)篩選出用于硬注意力流的深度描述符（deep descriptor）。

步驟2：加權特征圖使用全局聚合操作得到全局嵌入特征；將一個(gè)樣本篩選出的所有深度描述符建模為一個(gè)多示例學(xué)習（multi-instance learning）的包（bag）, 使用基于圖的多示例學(xué)習方法挖掘樣本部件之間的關(guān)系，得到部件嵌入特征。

步驟3：將兩個(gè)注意力流得到的全局嵌入特征和部件嵌入特征拼接得到樣本最終的嵌入表示，基于原型表示和最近鄰方法進(jìn)行類(lèi)別預測和模型訓練。


本方法與現有技術(shù)相比，其顯著(zhù)優(yōu)點(diǎn)為：


（1）本方法使用了兩個(gè)注意力流分別得到了部件級別的關(guān)鍵信息和全局聚合信息，不僅對細粒度圖像識別提供了區分新的部件級信息，也補充了對細粒度圖像識別有用的微妙全局信息。

（2）對于硬注意力流，使用多示例方法將篩選出的有用深度描述符建模為包，并基于圖的方法對包進(jìn)行編碼一體化得到對應細粒度部件的深度描述符的整體表示，豐富了細粒度部分的內在結構相關(guān)性。

（3）與基于雙線(xiàn)性池的方法相比，我們的方法復雜度更低更加易于訓練且有更高的識別效率。



返回動(dòng)態(tài)列表

RM新时代官方网站-首页