日前，全球圖像處理領(lǐng)域的頂級期刊 IEEE Transactions on Image Processing（簡(jiǎn)稱(chēng)TIP）公布了2024年新一批論文的接收結果。創(chuàng )新奇智等單位提交的論文《MECOM: A Meta-Completion Network for Fine-Grained Recognition with Incomplete Multi-Modalities》成功被TIP 2024接收。
TIP由IEEE信號處理學(xué)會(huì )主辦，是圖像處理及計算機視覺(jué)領(lǐng)域公認的頂級期刊，側重圖像處理的前沿理論與方法，在圖像處理算法與理論領(lǐng)域具有重要和廣泛的影響。期刊討論的內容包含深度學(xué)習、計算機視覺(jué)、大規模機器學(xué)習、學(xué)習理論、優(yōu)化、稀疏理論等眾多細分領(lǐng)域。TIP的發(fā)表門(mén)檻相對較高，通常需要較為嚴格的審稿和篩選過(guò)程。
論文概述
模態(tài)缺失下的細粒度識別致力于在部分模態(tài)數據不可用的情況下，對多模態(tài)細粒度數據進(jìn)行有效識別，解決由多模態(tài)和細粒度特性所引發(fā)的挑戰，這在眾多應用場(chǎng)景中都極具實(shí)際價(jià)值。為了應對這些挑戰，我們提出了一種名為MECOM的方法，采用元學(xué)習策略來(lái)解決模態(tài)缺失帶來(lái)的問(wèn)題。我們的網(wǎng)絡(luò )架構主要包括三個(gè)模塊：多模態(tài)數據預處理、跨模態(tài)注意力、解耦重構模塊。
創(chuàng )新背景
隨著(zhù)技術(shù)的進(jìn)步，多模態(tài)學(xué)習逐漸成為提高細粒度識別性能的有效方法。通過(guò)結合來(lái)自不同模態(tài)（如視覺(jué)、聽(tīng)覺(jué)和文本）的信息，多模態(tài)學(xué)習能夠提供更為豐富和全面的數據表示，從而幫助模型捕捉到單一模態(tài)難以觀(guān)察到的細節特征。然而，多模態(tài)數據在實(shí)際應用中常常面臨不完整性的問(wèn)題，即某些模態(tài)的數據可能會(huì )缺失。針對模態(tài)缺失對細粒度分類(lèi)帶來(lái)的巨大挑戰，我們利用元學(xué)習的方法訓練模型，以獲得一個(gè)在任意模態(tài)發(fā)生缺失情況下表現依然良好的模型，同時(shí)設計了特征融合和解耦模塊來(lái)獲得更好的特征進(jìn)行分類(lèi)。
主要貢獻
本文的主要貢獻如下：
1.我們是首個(gè)利用元學(xué)習策略來(lái)處理模態(tài)缺失下細粒度識別問(wèn)題。該策略不僅可以使模型在模態(tài)缺失任務(wù)上快速收斂，同時(shí)可以提升模型在各種模態(tài)缺失任務(wù)上的泛化性。
2.我們提出了一種針對模態(tài)缺失下細粒度識別問(wèn)題的方法MECOM，包括三個(gè)關(guān)鍵模塊，即多模態(tài)數據預處理模塊、跨模態(tài)注意力模塊以及解耦重構模塊。
3.我們在三個(gè)常用的數據集上進(jìn)行了全面的實(shí)驗來(lái)驗證所提方法及其模塊的有效性，定量和定性的結果均證明了我們方法的優(yōu)越性。
下圖為提出的方法MECOM的流程圖。我們提出的MECOM主要由三部分組成，即多模態(tài)數據預處理模塊、跨模態(tài)注意力模塊以及解耦重構模塊。
元學(xué)習：在利用元學(xué)習策略來(lái)處理模態(tài)缺失下細粒度識別問(wèn)題時(shí)，我們在細粒度多模態(tài)數據完備的數據集
上采樣，得到多個(gè)含模態(tài)數據缺失的元任務(wù)
在每個(gè)任務(wù)上對模型進(jìn)行訓練；以第
個(gè)任務(wù)舉例，有訓練集
和測試集
模型初始參數為
，計算模型在訓練集上的損失并通過(guò)梯度下降來(lái)更新模型參數，得到訓練過(guò)后的模型參數
:
其中
代表模型在第
個(gè)元任務(wù)的訓練集上的梯度，
為元任務(wù)內的學(xué)習率；得到更新后的模型參數后，根據
在第
個(gè)任務(wù)的測試集上的梯度更新模型初始參數
目標函數可寫(xiě)為：
其中
為在包含眾多元任務(wù)的
中取第
個(gè)元任務(wù)，
為第
個(gè)任務(wù)上訓練得到的模型在第
個(gè)測試集上的輸出結果。多模態(tài)數據預處理：在多模態(tài)數據預處理模塊，MECOM利用卷積神經(jīng)網(wǎng)絡(luò )ResNet50提取圖片和音頻數據的特征，利用LSTM提取文本的特征，利用TSN提取視頻模態(tài)的特征。同時(shí)為了更好的捕捉到細粒度特征，預處理階段還引入了空間注意力機制。以圖片模態(tài)舉例，在得到池化層前的圖片特征
后，我們利用多層感知機對特征的14 x 14個(gè)區域計算其重要程度
多層感知機的結構為
. 隨后我們將特征
與對應的重要程度得分矩陣
進(jìn)行點(diǎn)乘，并與圖片原始特征
。這種空間注意力能夠突出顯示圖像或其他模態(tài)中較為關(guān)鍵的信息區域，從而為后續的模態(tài)融合和重建提供了更加豐富和精確的特征表示。通過(guò)這種方式，模型能夠忽略不相關(guān)的信息，專(zhuān)注于對分類(lèi)任務(wù)至關(guān)重要的細節。相加，得到帶空間注意力的圖片特征。
跨模態(tài)注意力:在跨模態(tài)注意力模塊中，MECOM采用了一種創(chuàng )新的跨模態(tài)特征融合方式，該方法首先利用注意力機制將模態(tài)特征兩兩融合，如圖片特征
和音頻特征
。隨后再將融合的特征按模態(tài)進(jìn)一步融合，最終得到所有模態(tài)融合后的特征。這種分階段的融合方式在融合特征時(shí)可以避免多個(gè)模態(tài)導致的特征空間的不一致的問(wèn)題，同時(shí)充分的融合不同模態(tài)的特征。除此之外，為了更好的捕捉細粒度特征，跨模態(tài)注意力模塊分為全局特征融合和局部特征融合兩個(gè)分支，全局分支旨在融合不同模態(tài)的整體特征，而局部分支則是利用Gumbel Softmax方法提取有辨別行的局部特征并融合，最終將全局特征和局部特征拼接進(jìn)行分類(lèi)。以全局特征融合方式舉例：
其中
代表圖片模態(tài)和音頻模態(tài)特征的關(guān)系系數。按照相同的方式，得到圖片模態(tài)特征和其他模態(tài)特征的融合特征，將所有融合特征相加，得到圖片模態(tài)特征和其他所有模態(tài)特征的融合特征
對于剩余模態(tài)，按相似的方式得到融合特征，最終將所有特征加和，得到全局的融合特征：
其中
分別為音頻、文本、視頻模態(tài)特征和其他所有模態(tài)特征的融合特征。
解耦重構: 在解耦重構模塊中，MECOM實(shí)現了兩種重構方式：模態(tài)重構和統一重構。模態(tài)重構通過(guò)解耦的方式利用融合特征
來(lái)單獨重建每個(gè)模態(tài)的特征，而統一重構則試圖在重建過(guò)程中考慮所有可用模態(tài)的聯(lián)合信息。
其中
為解耦網(wǎng)絡(luò )，
是解耦出來(lái)的圖片特征，損失函數的目標是使解耦出來(lái)的特征和圖片模態(tài)原特征的
距離盡可能?。?/span>
而對于統一重構，損失函數的目標是使每個(gè)模態(tài)融合的特征和全局融合特征的距離盡可能?。?/span>
這兩個(gè)損失函數不僅考慮了重建誤差，還包括了跨模態(tài)一致性損失，以確保重建的數據在語(yǔ)義上與原始數據保持一致。這種復合重構策略極大地增強了模型在面對不同模態(tài)缺失情況時(shí)的靈活性和魯棒性。
不同模塊的作用如表 1所示，可以看到，每個(gè)模塊都對結果有一定的提升，當按照論文提出的方法結合在一起時(shí)，達到最佳的效果。
行業(yè)應用