日前，全球最負盛名的 AI 學(xué)術(shù)會(huì )議之 一 CVPR（IEEE/CVF Conference on Computer Vision and Pattern Recognition）公布了2024年論文接收結果。由創(chuàng )新奇智等單位提交的論文 《An Asymmetric Augmented Self-Supervised Learning Method for Unsupervised Fine-Grained Image Hashing》成功被CVPR 2024接收。
CVPR 2024將在美國西雅圖會(huì )議中心舉行現場(chǎng)會(huì )議，討論的內容包含深度學(xué)習、計算機視覺(jué)、大規模機器學(xué)習、學(xué)習理論、優(yōu)化、稀疏理論等眾多細分領(lǐng)域。根據CVPR官方網(wǎng)站統計，2024年一共收到有效投稿論文11532篇，接收率為23.6%。在激烈的競爭中，創(chuàng )新奇智投稿的論文脫穎而出，顯示創(chuàng )新奇智在人工智能領(lǐng)域深厚的創(chuàng )新力。
圖 1 論文摘要截圖
無(wú)監督細粒度圖像哈希旨在無(wú)監督環(huán)境下學(xué)習細粒度圖像緊湊的二進(jìn)制哈希碼，解決大規模數據集以及對監督學(xué)習的依賴(lài)所帶來(lái)的挑戰，在各種應用中都具有實(shí)際意義。在本文中，我們首先識別出無(wú)監督哈希方法在通用數據集和細粒度數據集之間存在的粒度差距，強調了傳統自監督學(xué)習對于細粒度視覺(jué)對象的不足。為了擬合這一差距，我們提出了一種新穎的方法 — 非對稱(chēng)增強自監督學(xué)習（
），包括三個(gè)模塊：非對稱(chēng)增強的SSL模塊、面向部件的密集對比學(xué)習、自一致哈希碼學(xué)習。非對稱(chēng)增強的SSL模塊采用適當的增強策略以生成正/負樣本視圖，防止了傳統SSL固有的細粒度類(lèi)別混淆問(wèn)題。此外，我們認識到細粒度對象部分的重要性，例如鳥(niǎo)的頭部或尾部等。因此，面向部件的密集對比學(xué)習利用Fisher向量框架來(lái)以端到端的方式捕獲和建模這些對象部分，通過(guò)部分級別的密集對比學(xué)習增強無(wú)監督表示。最后，我們意識到自監督學(xué)習主要強調圖像樣本之間的整體視覺(jué)相似性，可能忽視微妙但具有判別性的細粒度模式。因此，自一致哈希碼學(xué)習引入了一個(gè)與自一致性原則對齊的重建任務(wù)，指導模型強調綜合特征，特別是細粒度模式。在五個(gè)基準數據集上的實(shí)驗結果證明了
優(yōu)于現有方法，確認了其在無(wú)監督細粒度圖像哈希中的有效性。
創(chuàng )新背景
細粒度圖像檢索是細粒度圖像分析領(lǐng)域重要的一部分，這個(gè)任務(wù)除了要求正確估計子類(lèi)別外，還需要對數據庫中的所有實(shí)例進(jìn)行排名，其中來(lái)自相同子類(lèi)別的圖像根據查詢(xún)中呈現的細微細節被優(yōu)先考慮。與通用圖像檢索相比，后者側重于基于內容相似性（如紋理、顏色和形狀）檢索相似的圖像，而細粒度圖像檢索側重于檢索相同類(lèi)別類(lèi)型的圖像（如同一物種的動(dòng)物或同一車(chē)型）。隨著(zhù)現實(shí)世界應用中細粒度數據的爆炸性增長(cháng)，細粒度哈希技術(shù)成為處理大規模細粒度檢索任務(wù)的一種有前景的解決方案。它利用了學(xué)習到的緊湊二進(jìn)制哈希碼表示，已經(jīng)表現出顯著(zhù)降低存儲成本和提高查詢(xún)速度的能力。但它們仍然依賴(lài)于領(lǐng)域專(zhuān)家提供的細粒度類(lèi)別標簽。在某些情況下，獲得廣泛且準確的細粒度監督信息是具有挑戰性甚至不可能的。在本研究中，為了減少對監督的依賴(lài)，我們嘗試使用自監督方法來(lái)訓練模型。這使得任務(wù)充滿(mǎn)了挑戰性，并且具有實(shí)際意義。
論文的主要貢獻
1. 我們首次識別了通用數據集和細粒度數據集在無(wú)監督哈希方法中的粒度差距，并解決無(wú)監督細粒度圖像哈希這一具有挑戰性的任務(wù)。
2. 我們提出了一種非對稱(chēng)增強的自監督學(xué)習方法
(Asymmetric Augmented Self-Supervised Learning），包括三個(gè)關(guān)鍵模塊，即非對稱(chēng)增強SSL、面向部件的密集對比學(xué)習和自一致哈希碼學(xué)習，專(zhuān)門(mén)用于無(wú)監督的細粒度哈希碼學(xué)習。
3. 我們在五個(gè)常用的細粒度基準數據集上從定量和定性?xún)蓚€(gè)方面進(jìn)行了全面的實(shí)驗，結果表明我們提出的方法在這些數據集上取得了出色的檢索能力，超越了競爭性解決方案。這進(jìn)一步證明了我們方法的有效性和實(shí)用性。
技術(shù)要點(diǎn)
圖 2為該方法在訓練期間的說(shuō)明。我們提出的
方法主要由三個(gè)關(guān)鍵部分組成，即非對稱(chēng)增強SSL、面向部件的密集對比學(xué)習和自一致性哈希碼學(xué)習。在兩個(gè)分支中的所有參數都是共享的。非對稱(chēng)增強的自監督學(xué)習：通過(guò)非對稱(chēng)增強方法對每一個(gè)樣本
創(chuàng )建三種增強視圖：錨點(diǎn)視圖，正樣本視圖和負樣本視圖；錨點(diǎn)視圖僅通過(guò)Resize操作作用于樣本
生成，正樣本視圖僅通過(guò)RandomCrop操作作用于樣本
產(chǎn)生，負樣本視圖則經(jīng)歷兩個(gè)破壞性增強，即ColorJitter和ElasticTransform操作，以誘導其產(chǎn)生與細粒度對象相關(guān)的實(shí)質(zhì)性變化，每一個(gè)視圖都經(jīng)過(guò)模型生成相應的哈希碼，并計算模型產(chǎn)生的哈希碼之間的相似度，以計算非對稱(chēng)自監督損失：
面向部件的密集對比學(xué)習：使用高斯混合模型
對卷積神經(jīng)網(wǎng)絡(luò )輸出的深度特征描述子
進(jìn)行建模，其中，
分別是第K個(gè)高斯分量的混合權重、均值向量和協(xié)方差矩陣；H和W分別是激活張量的高度和寬度；并計算每個(gè)簇對應的部位級原型，隨后擴展傳統對比學(xué)習至部位級密集對比學(xué)習，
根據建模參數，計算高階統計信息，并聚合為Fisher向量得到部位級信息；
其中，
代表軟分配，即
由第K個(gè)高斯生成的概率；最終的Fisher向量
是從所有K個(gè)聚類(lèi)中的
和
進(jìn)行拼接得到；為了得到全面的圖像表示，通過(guò)兩個(gè)全連接層進(jìn)行對深度特征T 進(jìn)行聚合得到圖像級信息
，將之與部位級信息
進(jìn)行組合得到完整的圖像表示f，用于生成哈希編碼，將部位級信息與卷積神經(jīng)網(wǎng)絡(luò )計算得到的全局信息進(jìn)行結合，即得到完整的圖像表示。
自一致哈希學(xué)習: 通過(guò)編-解碼結構將重構任務(wù)引入哈希學(xué)習，構建自一致性哈希學(xué)習模塊，使用編碼器矩陣W 將f 投影到q維潛在空間，以獲得內部潛在表示v；遵循自一致性原則，使用解碼器對f進(jìn)行重構：
其中
表示一個(gè)小批量中的圖像嵌入，V對應于一個(gè)小批量中的潛在表示v；將學(xué)習目標通過(guò)軟約束改寫(xiě)為，
期望是哈希學(xué)習更全面的特征，涵蓋整體視覺(jué)模式和細粒度模式。不同模塊的作用如表 1所示，可以看到，每個(gè)模塊都對結果有一定的提升，當按照論文提出的方法結合在一起時(shí)，達到最佳的效果。
表 1 每個(gè)模塊的效果
制造業(yè)場(chǎng)景相關(guān)應用
無(wú)監督細粒度圖像哈希技術(shù)在工業(yè)領(lǐng)域，特別是制造業(yè)領(lǐng)域，具有廣泛的應用潛力。以下是幾個(gè)具體的應用場(chǎng)景：1. 質(zhì)量檢測與缺陷識別：在制造業(yè)中，對于產(chǎn)品的缺陷檢測是一個(gè)至關(guān)重要的環(huán)節。無(wú)監督細粒度圖像哈希技術(shù)可以用于學(xué)習細粒度圖像特征，從而在不依賴(lài)大量標注數據的情況下，自動(dòng)識別產(chǎn)品中的微小缺陷，如裂紋、污點(diǎn)等。2. 零部件分類(lèi)與檢索：在自動(dòng)化倉庫或生產(chǎn)線(xiàn)中，快速準確地識別和檢索特定的零部件是提升效率的關(guān)鍵。利用無(wú)監督細粒度圖像哈希技術(shù)，可以實(shí)現對零部件的精細分類(lèi)和快速檢索，即使是在沒(méi)有明確標簽的情況下。3. 產(chǎn)品追蹤與溯源：在復雜的生產(chǎn)流程中，對產(chǎn)品進(jìn)行有效的追蹤和溯源是非常重要的。通過(guò)無(wú)監督細粒度圖像哈希技術(shù)，可以建立產(chǎn)品的唯一標識，即使在產(chǎn)品的外觀(guān)相似度極高的情況下也能進(jìn)行有效區分。4. 工藝流程監控：在制造過(guò)程中，對工藝流程的實(shí)時(shí)監控有助于及時(shí)發(fā)現問(wèn)題并進(jìn)行調整。無(wú)監督細粒度圖像哈希技術(shù)可以應用于監控圖像的分析，識別出工藝流程中的異常情況。5. 智能維護與預測性維修：通過(guò)對設備圖像的無(wú)監督細粒度分析，可以實(shí)現對設備狀態(tài)的實(shí)時(shí)監控和預測性維護，提前發(fā)現潛在的故障，避免生產(chǎn)中斷。6. 定制化生產(chǎn)與個(gè)性化設計：隨著(zhù)消費者對個(gè)性化和定制化產(chǎn)品的需求增加，無(wú)監督細粒度圖像哈希技術(shù)可以幫助制造商在缺乏明確分類(lèi)標簽的情況下，對用戶(hù)上傳的個(gè)性化設計進(jìn)行快速理解和分類(lèi)，進(jìn)而實(shí)現快速響應和定制化生產(chǎn)。通過(guò)這些應用，無(wú)監督細粒度圖像哈希技術(shù)可以幫助制造業(yè)提高生產(chǎn)效率、降低成本、提升產(chǎn)品質(zhì)量，并最終實(shí)現智能制造的目標。
返回動(dòng)態(tài)列表