全景分割新突破,創(chuàng )新奇智榮獲MIT場(chǎng)景解析世界冠軍
近日,創(chuàng )新奇智憑借突破性的AInnoSeg全景分割算法,刷新MIT Scene Parsing Benchmark 場(chǎng)景解析任務(wù)世界最好成績(jì),領(lǐng)先商湯科技(2020年3月、5月為該基準測試的世界冠軍)、北京大學(xué)、南京大學(xué)、騰訊等眾多知名公司和研究機構,以絕對優(yōu)勢獲得冠軍。

來(lái)源于:http://sceneparsing.csail.mit.edu/
關(guān)于A(yíng)DE20K數據集
MIT Scene Parsing Benchmark 致力于為場(chǎng)景感知、場(chǎng)景解析、實(shí)例分割和語(yǔ)義理解等計算機視覺(jué)技術(shù)提供訓練和性能標準化評估平臺。該基準測試的數據來(lái)自ADE20K數據集,以場(chǎng)景目標復雜、目標尺度變化范圍大等特點(diǎn)著(zhù)稱(chēng),共包含150個(gè)類(lèi)別,覆蓋人類(lèi)生活各個(gè)方面的場(chǎng)景,里面同種類(lèi)的物體在不同場(chǎng)景中表現出的大小、比例、姿態(tài)差別非常大,并且不同物體之間存在遮擋嚴重的問(wèn)題,是全球范圍內公認的最具挑戰性、權威性、代表性的場(chǎng)景解析評測集,在A(yíng)I相關(guān)技術(shù)領(lǐng)域受到廣泛關(guān)注和高度認可,吸引著(zhù)眾多國際知名企業(yè)、學(xué)術(shù)研究機構集中參與。ADE20K數據集在圖像分割領(lǐng)域意義重大,是世界計算機視覺(jué)三大頂級會(huì )議(CVPR、ICCV和ECCV)語(yǔ)義分割論文權威基準數據集。

ADE20K數據集
創(chuàng )新奇智AInnoSeg算法
目前最優(yōu)的全景分割算法無(wú)法解決圖像中物體邊緣像素的分割和小物體的分割準確性。創(chuàng )新奇智提出的AInnoSeg算法卻能有效地解決這些問(wèn)題。AInnoSeg算法首先使用基于Nonlocal network修改的pixel and channel attention網(wǎng)絡(luò )結構來(lái)嫁接在HRnet上面,這樣能夠精確地對圖像中每個(gè)像素進(jìn)行分割;然后連接一個(gè)OCRnet網(wǎng)絡(luò )結構對圖像中每個(gè)物體和屬于這個(gè)物體的像素進(jìn)行聯(lián)系,從而能夠讓算法更加關(guān)注物體自身的像素和邊緣像素;然后使用數據增強的方式,讓算法更加關(guān)注圖像中小物體的分割。同時(shí)使用多個(gè)輔助損失函數來(lái)完成訓練。

HRNet網(wǎng)絡(luò )
其次,AInnoSeg提供了半監督的訓練模型流程,可以在數據集比較少的情況下,提升算法模型的表現力。

半監督流程訓練圖
AInnoSeg算法實(shí)現細節論文:https://arxiv.org/pdf/2007.10591.pdf
我們來(lái)看看AInnoSeg算法在A(yíng)DE20K數據集上面的表現。

AInnoSeg算法相比較于目前最優(yōu)的分割算法,能夠有效地分割物體邊緣和實(shí)現小物體的分割。
全景分割的落地應用

參賽隊伍
全景分割新突破,創(chuàng )新奇智榮獲MIT場(chǎng)景解析世界冠軍
近日,創(chuàng )新奇智憑借突破性的AInnoSeg全景分割算法,刷新MIT Scene Parsing Benchmark 場(chǎng)景解析任務(wù)世界最好成績(jì),領(lǐng)先商湯科技(2020年3月、5月為該基準測試的世界冠軍)、北京大學(xué)、南京大學(xué)、騰訊等眾多知名公司和研究機構,以絕對優(yōu)勢獲得冠軍。

來(lái)源于:http://sceneparsing.csail.mit.edu/
關(guān)于A(yíng)DE20K數據集
MIT Scene Parsing Benchmark 致力于為場(chǎng)景感知、場(chǎng)景解析、實(shí)例分割和語(yǔ)義理解等計算機視覺(jué)技術(shù)提供訓練和性能標準化評估平臺。該基準測試的數據來(lái)自ADE20K數據集,以場(chǎng)景目標復雜、目標尺度變化范圍大等特點(diǎn)著(zhù)稱(chēng),共包含150個(gè)類(lèi)別,覆蓋人類(lèi)生活各個(gè)方面的場(chǎng)景,里面同種類(lèi)的物體在不同場(chǎng)景中表現出的大小、比例、姿態(tài)差別非常大,并且不同物體之間存在遮擋嚴重的問(wèn)題,是全球范圍內公認的最具挑戰性、權威性、代表性的場(chǎng)景解析評測集,在A(yíng)I相關(guān)技術(shù)領(lǐng)域受到廣泛關(guān)注和高度認可,吸引著(zhù)眾多國際知名企業(yè)、學(xué)術(shù)研究機構集中參與。ADE20K數據集在圖像分割領(lǐng)域意義重大,是世界計算機視覺(jué)三大頂級會(huì )議(CVPR、ICCV和ECCV)語(yǔ)義分割論文權威基準數據集。

ADE20K數據集
創(chuàng )新奇智AInnoSeg算法
目前最優(yōu)的全景分割算法無(wú)法解決圖像中物體邊緣像素的分割和小物體的分割準確性。創(chuàng )新奇智提出的AInnoSeg算法卻能有效地解決這些問(wèn)題。AInnoSeg算法首先使用基于Nonlocal network修改的pixel and channel attention網(wǎng)絡(luò )結構來(lái)嫁接在HRnet上面,這樣能夠精確地對圖像中每個(gè)像素進(jìn)行分割;然后連接一個(gè)OCRnet網(wǎng)絡(luò )結構對圖像中每個(gè)物體和屬于這個(gè)物體的像素進(jìn)行聯(lián)系,從而能夠讓算法更加關(guān)注物體自身的像素和邊緣像素;然后使用數據增強的方式,讓算法更加關(guān)注圖像中小物體的分割。同時(shí)使用多個(gè)輔助損失函數來(lái)完成訓練。

HRNet網(wǎng)絡(luò )
其次,AInnoSeg提供了半監督的訓練模型流程,可以在數據集比較少的情況下,提升算法模型的表現力。

半監督流程訓練圖
AInnoSeg算法實(shí)現細節論文:https://arxiv.org/pdf/2007.10591.pdf
我們來(lái)看看AInnoSeg算法在A(yíng)DE20K數據集上面的表現。

AInnoSeg算法相比較于目前最優(yōu)的分割算法,能夠有效地分割物體邊緣和實(shí)現小物體的分割。
全景分割的落地應用

參賽隊伍