【儀表網(wǎng) 研發(fā)快訊】近日，人工智能領(lǐng)域國(guó)際頂級(jí)期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE TPAMI，影響因子：20.8)在線發(fā)表了武漢大學(xué)遙感信息工程學(xué)院李彥勝課題組關(guān)于大幅面遙感影像場(chǎng)景圖生成的最新研究成果，研究成果在張永軍教授的指導(dǎo)下完成。
 

　　論文題為“STAR: A First-Ever Dataset and A Large-Scale Benchmark for Scene Graph Generation in Large-Size Satellite Imagery”，合作者包括武漢大學(xué)、上海交通大學(xué)、西北工業(yè)大學(xué)、中國(guó)科學(xué)院空天信息創(chuàng)新研究院、美國(guó)康奈爾大學(xué)、中南大學(xué)等國(guó)內(nèi)外機(jī)構(gòu)的知名學(xué)者及研究生。論文公開(kāi)了大幅面遙感影像場(chǎng)景圖生成樣本庫(kù)、算法工具包及評(píng)測(cè)排行榜，提出了一種適用于大幅面遙感影像目標(biāo)檢測(cè)及關(guān)系預(yù)測(cè)的新方法。
 

　　圖1. 大幅面遙感影像場(chǎng)景圖生成示意圖。(a)和(c)分別展示了顯示大幅面遙感影像中目標(biāo)檢測(cè)和場(chǎng)景圖生成結(jié)果，(b)和(d)為對(duì)應(yīng)的局部細(xì)節(jié)展示。在(d)中，黑色箭頭表示僅依賴于孤立目標(biāo)對(duì)可預(yù)測(cè)的關(guān)系，而紅色箭頭表示需要借助上下文推斷的復(fù)雜關(guān)系。
 

　　遙感影像場(chǎng)景圖生成有助于促進(jìn)復(fù)雜地理空間從場(chǎng)景感知到場(chǎng)景認(rèn)知的升級(jí)躍遷。在大幅面遙感影像中，地理目標(biāo)的尺度和縱橫比變化大，地理目標(biāo)之間(甚至是空間不相交的地理目標(biāo)之間)存在豐富語(yǔ)義關(guān)系，這使得在大幅面遙感影像中進(jìn)行整體場(chǎng)景圖生成十分必要。然而，大幅面遙感影像場(chǎng)景圖生成樣本庫(kù)的缺乏極大限制了遙感影像認(rèn)知技術(shù)發(fā)展。由于大幅面遙感影像復(fù)雜度高，挖掘目標(biāo)-關(guān)系三元組，關(guān)系，目標(biāo)>高度依賴遠(yuǎn)距離上下文推理。傳統(tǒng)為小尺寸自然圖像設(shè)計(jì)的場(chǎng)景圖生成模型無(wú)法直接適用于大幅面遙感影像。因此，亟需建設(shè)大幅面遙感影像場(chǎng)景圖生成樣本庫(kù)，發(fā)展全新大幅面遙感影像場(chǎng)景圖生成理論方法。
 

　　在樣本庫(kù)建設(shè)方面，論文構(gòu)建了一套面向全球采樣的大幅面遙感影像場(chǎng)景圖生成樣本庫(kù)STAR(涵蓋了全球范圍內(nèi)與人類活動(dòng)密切相關(guān)的11類復(fù)雜地理空間場(chǎng)景如機(jī)場(chǎng)、港口、核電站、火電站、風(fēng)力發(fā)電站、水壩和服務(wù)區(qū)、立交橋、水面橋、施工工地和體育運(yùn)動(dòng)場(chǎng)景等，人工精細(xì)標(biāo)注超過(guò)210,000個(gè)地理目標(biāo)和超過(guò)400,000個(gè)目標(biāo)-關(guān)系三元組，影像幅面為512×768到27,860×31,096像素)。STAR樣本庫(kù)可以為大幅面遙感影像目標(biāo)檢測(cè)和場(chǎng)景圖生成任務(wù)提供有力數(shù)據(jù)支撐。
 

　　在方法探索方面，論文提出了一種基于全局上下文感知的大幅面遙感影像場(chǎng)景圖生成方法：從目標(biāo)檢測(cè)、目標(biāo)對(duì)剪枝和關(guān)系預(yù)測(cè)三個(gè)層面逐級(jí)漸進(jìn)解析大幅面復(fù)雜遙感影像。具體地，提出了能夠靈活集成多尺度上下文的整體多類目標(biāo)檢測(cè)方法，檢測(cè)大幅面遙感影像中的目標(biāo)；設(shè)計(jì)了基于對(duì)抗-重構(gòu)的關(guān)系候選對(duì)生成方法，篩選包含高價(jià)值關(guān)系的目標(biāo)對(duì)；提出了帶有上下文感知消息傳遞的關(guān)系預(yù)測(cè)方法，預(yù)測(cè)候選對(duì)的關(guān)系類型。
 

圖2.基于全局上下文感知的大幅面遙感影像場(chǎng)景圖生成方法
 

　　在評(píng)估基準(zhǔn)構(gòu)建方面，針對(duì)面向水平框和旋轉(zhuǎn)框的大幅面遙感影像目標(biāo)檢測(cè)與場(chǎng)景圖生成任務(wù)，發(fā)布了面向大幅面遙感影像的場(chǎng)景圖生成算法工具包(包含30余種目標(biāo)檢測(cè)方法和10余種場(chǎng)景圖生成方法)。依托STAR樣本庫(kù)，進(jìn)行了全面基準(zhǔn)測(cè)試，實(shí)驗(yàn)表明提出的新方法相比基線方法具有明顯性能優(yōu)勢(shì)。
 

圖3.論文提出新方法與現(xiàn)有方法在STAR數(shù)據(jù)集上的場(chǎng)景圖生成結(jié)果可視化對(duì)比
 

　　該項(xiàng)研究得到國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目和面上項(xiàng)目資助支持。