技術(shù)
導(dǎo)讀:近年來,對于跨攝像頭、跨空間的目標(biāo)人物檢索,行人重識(shí)別技術(shù)Re-ID正作為新興研究方向受到越來越多的關(guān)注。
圖片來自“Unsplash”
當(dāng)前階段,標(biāo)準(zhǔn)場景下的人臉識(shí)別已經(jīng)能夠?qū)崿F(xiàn)非常成熟地應(yīng)用,但在一些非標(biāo)場景,人臉的應(yīng)用效果仍有待提升。由于人臉信息相對單一且容易受到外界環(huán)境干擾影響識(shí)別結(jié)果,因此,近年來,對于跨攝像頭、跨空間的目標(biāo)人物檢索,行人重識(shí)別技術(shù)Re-ID正作為新興研究方向受到越來越多的關(guān)注。
行人重識(shí)別(Person Re-Identification,簡稱 Re-ID)也稱為跨鏡追蹤技術(shù),是利用計(jì)算機(jī)視覺技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù),指通過穿著、體態(tài)、發(fā)型等在不確定的場景中能夠再次識(shí)別是同一個(gè)人,并以此描繪出個(gè)體行進(jìn)軌跡的AI視覺技術(shù),簡而言之,就是通過計(jì)算機(jī)視覺技術(shù)檢索不同攝像頭下的同一個(gè)目標(biāo)人物。
Re-ID不同于人臉識(shí)別,人臉識(shí)別是用來認(rèn)證一個(gè)人的身份,而Re-ID是將同一個(gè)人在不同攝像設(shè)備下的影像匹配起來,生成跨攝像頭時(shí)空軌跡。典型的基于行人ReID的應(yīng)用是以圖搜圖。
這幾年來隨著行人重識(shí)別技術(shù)在公安、交通、零售等行業(yè)領(lǐng)域的需求的日趨廣泛,不少廠商也陸續(xù)發(fā)布了在相關(guān)數(shù)據(jù)集測試的結(jié)果以此來彰顯企業(yè)在Re-ID技術(shù)研究方面的成果。其中Market 1501、DukeMTMC-reID、CUHK03這三個(gè)衡量Re-ID技術(shù)的數(shù)據(jù)集測試也是業(yè)內(nèi)最常用的行人重識(shí)別權(quán)威數(shù)據(jù)集測試。在Re-ID技術(shù)研究領(lǐng)域,首位命中率(Rank-1Accuracy)和平均精度均值(Mean Average Precision,mAP)是衡量算法水平的核心指標(biāo)。
安防知識(shí)網(wǎng)編輯梳理了近兩年來國內(nèi)部分企業(yè)在三大公開數(shù)據(jù)集的測試結(jié)果,如下圖所示,在算法技術(shù)不斷迭代之下,以Market 1501數(shù)據(jù)集為例,首位命中率和平均精度均值都陸續(xù)超越了97%、94%的水平值,推動(dòng)著行人重識(shí)別算法水平迎來新的突破。 近兩年國內(nèi)部分企業(yè)在三大公開數(shù)據(jù)集上的測試結(jié)果
而除了智能安防和人工智能領(lǐng)域的部分企業(yè)之外,阿里和騰訊優(yōu)圖的刷榜也讓業(yè)界更多的注意到了Re-ID這項(xiàng)技術(shù),為后續(xù)這項(xiàng)技術(shù)的商用化落地鋪墊了前期基礎(chǔ)。
行人重識(shí)別Re-ID技術(shù)研究幾大現(xiàn)實(shí)難點(diǎn):
現(xiàn)階段,Re-ID的技術(shù)研究仍然面臨著很多現(xiàn)實(shí)問題和技術(shù)難點(diǎn),這些問題主要包括數(shù)據(jù)獲取難度大、算法訓(xùn)練難度高以及一些實(shí)用角度的投入產(chǎn)出比問題。
數(shù)據(jù)獲取難度大:相比于人臉數(shù)據(jù),Re-ID中行人數(shù)據(jù)嚴(yán)重稀缺,行人最主流的數(shù)據(jù)集(Market1501)才1000-3000個(gè)行人ID,而人臉的公開數(shù)據(jù)集ID規(guī)模已超100萬,企業(yè)私有的ID規(guī)??赡芨?。造成這一現(xiàn)象的主要原因是由于行人數(shù)據(jù)集需要采集自同一個(gè)人在一段時(shí)間內(nèi)同時(shí)出現(xiàn)在多個(gè)攝像頭下,這樣嚴(yán)苛條件限制了行人數(shù)據(jù)集的構(gòu)建。正因?yàn)閿?shù)據(jù)的缺失,對跨鏡追蹤技術(shù)的算法研究提出了更高的要求。
算法訓(xùn)練難度高:數(shù)據(jù)的稀缺本身就是一個(gè)大問題,在這個(gè)基礎(chǔ)之上,現(xiàn)有的視頻監(jiān)控由于受成像質(zhì)量、分辨率等因素的制約,還會(huì)導(dǎo)致抓取的圖像信息模糊不清。當(dāng)然還有相機(jī)拍攝角度差異大、室內(nèi)室外環(huán)境變化、行人服裝配飾更換、季節(jié)性穿衣風(fēng)格差別大、白天晚上光線差異等等因素的影響,讓跨攝像頭、跨地區(qū)、跨時(shí)間的Re-ID分析變得更加困難,要解決的實(shí)際問題非常復(fù)雜。除此之外,在很多安防系統(tǒng)中,視頻監(jiān)控探頭的碼流帶寬以及攝像頭部署的密度也都會(huì)限制Re-ID算法準(zhǔn)確度的提升。
同時(shí),用戶對于投入產(chǎn)出比的顧慮也比較大。要在產(chǎn)品上應(yīng)用、在項(xiàng)目中落地、只提高幾個(gè)百分點(diǎn)的準(zhǔn)確度,而計(jì)算量和內(nèi)存開銷、存儲(chǔ)開銷嚴(yán)重增加,客戶肯定不愿意買單。在準(zhǔn)確度不完美的情況下,把技術(shù)應(yīng)用到產(chǎn)品上,就要花很多功夫做應(yīng)用創(chuàng)新,比如計(jì)算速度和內(nèi)存開銷。
針對上述提到的數(shù)據(jù)采集和算法訓(xùn)練的相關(guān)問題,目前業(yè)內(nèi)部分企業(yè)已經(jīng)相繼推出了一些技術(shù)突破手段:
阿里:通過局部信息的挖掘,專注于解決行人在識(shí)別過程中表觀姿態(tài)變化劇烈,不容易對齊的問題。一方面,通過人體得到具有強(qiáng)語義信息的部件,并利用在其中尋找最具有區(qū)分性的區(qū)域。另一方面,使用了基于金字塔的水平分塊策略,得到行人固定區(qū)域的可辨識(shí)信息。在訓(xùn)練中,同時(shí)采用兩種策略相結(jié)合的方式,達(dá)到行人圖片的對齊,從而實(shí)現(xiàn)更精準(zhǔn)的匹配識(shí)別。
中興通訊:創(chuàng)新性地提出多模塊多粒度聯(lián)合的特征提取網(wǎng)絡(luò),有效的解決了因攝像機(jī)拍攝角度、色差、光照強(qiáng)度等引起的側(cè)臉、遮擋及缺失等復(fù)雜情況,顯著提升了網(wǎng)絡(luò)特征匹配性能。
澎思科技: 用全局特征來度量每一幀圖片的權(quán)重往往會(huì)損失掉許多重要的信息。采用分割重組策略將特定局部特征重組成多個(gè)視頻序列進(jìn)行學(xué)習(xí),進(jìn)而極大減少局部特征損失對最終特征的影響;其次,提出了全新的雙向圖注意力機(jī)制模塊。將圖卷積神經(jīng)網(wǎng)絡(luò)和SENet完美結(jié)合,在整個(gè)序列上進(jìn)行通道域的模式選擇學(xué)習(xí)。同時(shí)通過雙向網(wǎng)絡(luò)進(jìn)行空間域的注意力區(qū)域?qū)W習(xí)。由于圖卷積網(wǎng)絡(luò)的特性,每一幀圖片的注意力特征都是與其他幀相互學(xué)習(xí)結(jié)合的結(jié)果,從而極大提高特征的代表性;最終,利用幀間相似度進(jìn)行序列融合,這樣,數(shù)據(jù)的類內(nèi)相似度得到了極大的提高。在結(jié)合三元損失函數(shù)進(jìn)行訓(xùn)練后,類間相似度得到了降低,進(jìn)而提高重識(shí)別效果。
大華股份:應(yīng)用圖像數(shù)據(jù)增強(qiáng)方法,其主要包括隨機(jī)模糊和隨機(jī)截補(bǔ)等策略,能夠有效地模擬各種環(huán)境下的人體遮擋、模糊和不完整等復(fù)雜情況;其次,針對多分支部件網(wǎng)絡(luò)中特征粒度差異問題,采用一種遞進(jìn)式部件網(wǎng)絡(luò)模型PPM(Progressive Part Model),各分支之間除了共享的基礎(chǔ)卷積網(wǎng)絡(luò)部分,還存在一種級聯(lián)的語義關(guān)系;最后,在設(shè)計(jì)的PPM網(wǎng)絡(luò)中,通過重疊采樣操作促進(jìn)各部件分支提取更顯著的特征信息,應(yīng)用改進(jìn)的損失函數(shù)學(xué)習(xí)出基于球面約束的特征嵌入空間。
千視通:基于多年實(shí)戰(zhàn)經(jīng)驗(yàn),提出一種卡視聯(lián)動(dòng)技戰(zhàn)法,結(jié)合人臉識(shí)別和跨鏡追蹤(Re-ID)各自的特點(diǎn)及優(yōu)勢,以少量的人臉卡口加大量的普通監(jiān)控探頭的部署,既可鎖定嫌疑人身份,又能重現(xiàn)嫌疑人軌跡,這種創(chuàng)新的綜合型技戰(zhàn)法可以較大概率對監(jiān)控范圍進(jìn)行覆蓋,具有極強(qiáng)的實(shí)戰(zhàn)價(jià)值。
奇點(diǎn)云:重點(diǎn)攻克行人重識(shí)別算法的兩項(xiàng)核心技術(shù):基于分塊的隨機(jī)丟棄利用率較低的子空間特征增強(qiáng)attention機(jī)制,多種loss融合提高精確度,使得原先Re-ID93%的準(zhǔn)確率得到提升。
騰訊優(yōu)圖:多任務(wù)框架的交替訓(xùn)練、基于分塊的金字塔模型。通過這兩項(xiàng)核心技術(shù)的成功應(yīng)用,騰訊優(yōu)圖在三個(gè)主流數(shù)據(jù)庫上都獲得了相對原始基線模型至少6.34%的指標(biāo)提升。
云從科技:全局特征跟多粒度局部特征結(jié)合,既抓大一統(tǒng)特征,也抓細(xì)節(jié),如衣服LOGO 、背包掛飾等,增加檢索識(shí)別的特征元素,提升準(zhǔn)確性。
可以說,Re-ID行人重識(shí)別技術(shù)將人工智能的認(rèn)知水平從“識(shí)臉”提升到了“識(shí)人”的新階段,在跨空間、時(shí)間、地域的人物目標(biāo)檢索應(yīng)用場景之下,可以發(fā)揮比人臉識(shí)別更重要的作用。
比如,走失人員尋回、嫌犯追蹤等典型的AI尋人的應(yīng)用。另一個(gè)比較典型的應(yīng)用場景在于商超場所的客流熱力圖統(tǒng)計(jì),通過實(shí)時(shí)動(dòng)態(tài)跟蹤用戶軌跡(隱私保護(hù)前提之下)來助力商場完善店鋪陳列和購物體驗(yàn)。而隨著相關(guān)技術(shù)的日趨成熟,相信未來Re-ID技術(shù)將改善更多場景下傳統(tǒng)的“找人"”尋物“模式,帶來作業(yè)效率的顯著提升。