導(dǎo)讀:讓攝像機(jī)看懂正在發(fā)生的事件并提出告警,已經(jīng)在越來越多的智慧城市項目中落地,不過實(shí)現(xiàn)形式卻各有不同。
守林員小陳每天的工作,大部分時間都用來在林間巡邏,以便第一時間發(fā)現(xiàn)安全隱患??菰锓敝氐墓ぷ髯屇贻p的他有點(diǎn)郁悶。
有天他舉著朋友圈里轉(zhuǎn)發(fā)的文章問領(lǐng)導(dǎo),聽說有地方都能用AI來識別山火了,咱們啥時候能用上啊,以后我也算半個用電腦上班的白領(lǐng)了。
領(lǐng)導(dǎo)懶得搭理他,新的智能監(jiān)控攝像機(jī)剛安裝不久,圖像質(zhì)量提升了不說,目標(biāo)識別、異常行為監(jiān)控之類的功能也都有了,哪里還有經(jīng)費(fèi)換個“火眼金睛”!年輕人啊,就是身在福中不知福!
小陳囁嚅道:都不能及時更新,還叫智能啊……
類似的經(jīng)歷,正在城市的各個角落上演。
讓攝像機(jī)看懂正在發(fā)生的事件并提出告警,已經(jīng)在越來越多的智慧城市項目中落地,不過實(shí)現(xiàn)形式卻各有不同。
目前,機(jī)器視覺智能分析主要分為兩類:一種是前端智能化硬件分析,另一種是后端服務(wù)器分析。這兩種部署方式的區(qū)別,主要體現(xiàn)在三個方面:
1. 時效性不同。
前端智能化,側(cè)重于對視頻進(jìn)行實(shí)時分析,能夠?qū)崿F(xiàn)“事中報警”,比如在機(jī)場、高鐵站,一旦發(fā)現(xiàn)移動目標(biāo)出現(xiàn)了觸發(fā)預(yù)定義分析規(guī)則的行為,就會引發(fā)聯(lián)動;
而后端智能化則會先將前端攝像機(jī)采集的視頻流存儲到服務(wù)器中,根據(jù)預(yù)設(shè)的不同規(guī)則,從海量的數(shù)據(jù)中提取出相關(guān)信息,集中優(yōu)勢計算資源做更深入的分析,實(shí)現(xiàn)檢測與事件檢測的協(xié)同聯(lián)動,方便“事后查證”。
2. 數(shù)據(jù)量不同。
實(shí)時分析與預(yù)警,需要前端智能化有較高的計算性能來支撐,如果把算法集成在硬件配置低的攝像機(jī)上,處理速度變慢,就會喪失前端智能的優(yōu)勢。因此,大部分前端只能運(yùn)行相對簡單的、對實(shí)時性要求很高的算法。
后端智能分析會根據(jù)需求配置足夠強(qiáng)大的硬件資源,可以處理成百上千攝像機(jī)組成的系統(tǒng)所上傳的數(shù)據(jù),運(yùn)行復(fù)雜的、允許一定延時的算法。
3. 成本焦點(diǎn)不同。
智能前置對攝像機(jī)提出了強(qiáng)大的軟硬件計算能力要求,終端硬件成本比較高,好處是可以節(jié)省帶寬資源,幫助后端減輕計算壓力,同時實(shí)現(xiàn)無人值守,也能夠節(jié)省人力成本;
而后端智能則需要在存儲管理、傳輸帶寬、服務(wù)器集群等方面進(jìn)行較大的投入,來保障數(shù)據(jù)傳輸?shù)姆€(wěn)定性,當(dāng)然,分析運(yùn)算的集中化也讓算法升級、設(shè)備運(yùn)維都變得簡化。
那在現(xiàn)實(shí)中,究竟是“前端好”還是“后端好”呢?
用一句網(wǎng)絡(luò)語總結(jié),小孩子才做選擇,成熟的大人當(dāng)然是全都要。
前端的響應(yīng)速度與穩(wěn)定性,與后端的資源能力和全局視角,兩者互為補(bǔ)充,可以更加貼近一線、事半功倍。
舉個最簡單的例子,當(dāng)自動駕駛汽車走在路上,如果攝像機(jī)采集的內(nèi)容還要傳送到云端進(jìn)行識別、判斷、分析,一旦遇到網(wǎng)絡(luò)不好的環(huán)境,那還沒等指令下傳,事故可能就已經(jīng)發(fā)生了。最佳的解決方案,當(dāng)然是由自帶智能算法的前端直接完成實(shí)時的路況判斷、障礙物識別、違法檢測,而更復(fù)雜的線路分析等海量數(shù)據(jù)學(xué)習(xí),可以在泊車時交給后端處理,豈不兩全其美?
前后端協(xié)同,前端智能化是重中之重
既然前后端協(xié)同,已經(jīng)成為視頻分析系統(tǒng)的必然趨勢,那么,如何以更低耗能、更低成本實(shí)現(xiàn)前端智能化,也就成為各行各業(yè)智能化管理中的當(dāng)務(wù)之急。
一方面,盡管人們早已習(xí)慣了大街小巷攝像機(jī)的存在,但其中大部分是僅具備視頻采集功能的傳統(tǒng)攝像機(jī),能“看清”就不錯了,在視頻線索查找時依然需要啟動人海戰(zhàn)術(shù),消耗大量人力物力。
因此,能“看懂”發(fā)生了什么的智能化、數(shù)字化、高清化攝像機(jī)也就成了大勢所趨。有數(shù)據(jù)顯示,2019 年的前端智能化增速相比 2018 年,提升了 100%。
另一方面,越來越多的智能算法開始從后端轉(zhuǎn)移到前端來完成。比如大家熟悉的車牌號識別、目標(biāo)識別等等,能夠有效減輕后端的計算壓力,實(shí)時告警還可以有效降低漏抓誤報的可能。
但在實(shí)際場景中,光線、姿態(tài)、清晰度等等,都有可能影響識別效果,這就要求前端有終端芯片、軟件平臺等基礎(chǔ)的支撐,來使更多算法可以落地。
尤其是在多媒體技術(shù)不斷更新迭代的情況下,文字、圖形、影像、動畫、聲音及視頻等不同形態(tài)的數(shù)據(jù)混合在一起,需要技術(shù)雄厚、結(jié)合具體應(yīng)用場景來攻克的企業(yè)才能完成這一挑戰(zhàn)。
就拿公共安全領(lǐng)域來說,有的是靜態(tài)識別,比如車輛、顏色等等;有的是異常行為,比如突然加速、聚集、突然跌倒等等;還有的要針對移動物體進(jìn)行智能化跟蹤分析、復(fù)雜場景下的視頻分析等等……這些都需要不斷引入新的算法來解決。
從這個角度看,前端視覺感知的種類、數(shù)量和質(zhì)量,直接決定了智能化程度的高低。
此外,前端智能化要實(shí)現(xiàn)工程上的成本最優(yōu),需要可以演進(jìn)式地發(fā)展。其中就存在著不少阻礙,比如有的前端系統(tǒng)比較難接入和兼容,想要在監(jiān)控功能基礎(chǔ)上增加智能分析,往往需要重復(fù)安裝攝像機(jī),重復(fù)建設(shè)無疑會造成極大的資源浪費(fèi);
再比如,目前市場發(fā)展不均衡,有的廠家有算法但產(chǎn)品不足,有的廠家算法和產(chǎn)品都有但缺乏配套軟件,最后呈現(xiàn)的分析效果和效率也都差異很大。
軟件缺乏可持續(xù)的演進(jìn)能力,最直接的結(jié)果就是很容易遭遇性能瓶頸,尤其是在摩爾定律接近極限、難以突破的現(xiàn)狀下,智能攝像機(jī)每 3-6 個月就需要迭代一次,如果沒有開放 OS 和相應(yīng)軟件來對系統(tǒng)進(jìn)行自動升級,以及加速算法加載與迭代,那么前端硬件的內(nèi)置算力會很快被極速的計算量耗盡。
正如圖靈獎得主 David Patterson 所說,未來十年將是計算架構(gòu)“新黃金十年”,通過架構(gòu)優(yōu)化、“軟硬協(xié)同”的方式來提升整體計算性能,將成為大勢所趨。
總的來看,盡管前端智能化的前途看起來一片光明,但它也受限于許多前置條件,比如低成本量產(chǎn)的嵌入式AI芯片、高性能場景化的垂直算法、全流程可演進(jìn)的軟件平臺等等,沒有這些,前端智能攝像機(jī)也很難飛入街頭巷陌。
淬煉前端:華為的三個智能方程式
在前端智能化已經(jīng)勢不可擋的情境中,華為也結(jié)合自身大量的計算、存儲、聯(lián)接、云化、智能、安全等各個領(lǐng)域的技術(shù)積累與商業(yè)實(shí)踐,在“全棧云、全智能、全場景”的機(jī)器視覺和大數(shù)據(jù)解決方案基礎(chǔ)上,給出了一個體系完備、面面俱到的解題樣本。
第一道方程式:AI 芯+算法商城,實(shí)現(xiàn)前端性能升級
算力是智能的基礎(chǔ),提供“軟硬協(xié)同”的算力支撐,華為也有自己的思路:
一方面,華為軟件定義攝像機(jī)(SDC)搭載專業(yè)AI芯片,算力最高可達(dá) 20T,可以在極致低功率、極致算力等不同場景中為前端釋放極致算力。讓硬件可以輕松實(shí)現(xiàn)如目標(biāo)分類和屬性識別等能力,甚至可以完全取代后端服務(wù)器來完成視頻全量特征分析,提升實(shí)時響應(yīng)能力。
此外,華為算法與應(yīng)用商城 HoloSens Store 也應(yīng)運(yùn)而生,實(shí)現(xiàn)前端智能算法按需可選,在線加載,賦予前端越來越強(qiáng)大的能力。
第二道方程式:軟件定義+按需適配,實(shí)現(xiàn)能力開放
智能視頻監(jiān)控系統(tǒng)往往會在城市的多個場景、多種業(yè)務(wù)下使用,比如白天要檢測車輛排隊長度、甄別事故,晚上則重點(diǎn)看護(hù)應(yīng)急車道情況。如何最大化地根據(jù)個性化需求來進(jìn)行設(shè)計,讓前端智能能夠快速響應(yīng)、不斷創(chuàng)新呢?
答案自然是允許合作伙伴開發(fā)多元化的垂直場景算法,這就需要開放性的軟件定義來將底層硬件能力釋放出去,實(shí)現(xiàn)多維感知傳感器硬件等終端,以及多種軟件能力的接入。
華為就基于容器架構(gòu),華為打造業(yè)界首創(chuàng)攝像機(jī) OS,推出“軟件定義”架構(gòu)。以標(biāo)準(zhǔn)、歸一化的軟件運(yùn)行環(huán)境,實(shí)現(xiàn)軟硬件解耦,統(tǒng)一調(diào)用底層硬件的計算和編排能力、統(tǒng)一由操作系統(tǒng)封裝,開發(fā)者只需要聚焦功能側(cè)的能力,大大降低了開發(fā)門檻。
另一方面,通過一系列行業(yè)標(biāo)準(zhǔn)的北向接入?yún)f(xié)議,打造了開放的軟件生態(tài)。合作伙伴在完成算法訓(xùn)練與開發(fā)之后,就可以快速集成 SDC OS 公共軟硬件能力,打造成各自行業(yè)中具有差異化競爭力的商用產(chǎn)品。
這樣做的好處是,能夠讓大量合作伙伴加入并品嘗前端智能化的商業(yè)機(jī)會,按照各自聚焦的場景開發(fā)大量匹配行業(yè)屬性的長尾算法,解決客戶的實(shí)際問題,同時接口標(biāo)準(zhǔn)的統(tǒng)一,能夠持續(xù)演進(jìn)迭代,進(jìn)一步降低部署成本,增加其競爭優(yōu)勢。
第三道方程式:多算法+多工具,自動化敏捷開發(fā)
對于應(yīng)用前端智能的企業(yè) / 機(jī)構(gòu)來說,要自己訓(xùn)練一個 AI 模型還是比較復(fù)雜、技能門檻較高的工作。想要實(shí)現(xiàn) AI 普惠,前提就要讓應(yīng)用開發(fā)變得更容易、更快捷,使其成為 ICT 從業(yè)人員的一項基本技能。
因此華為也將完善的 SDC Studio 開發(fā)工具鏈開放出來,提供通用算法模型、算法模型文件格式轉(zhuǎn)換、數(shù)據(jù)的自動標(biāo)注等服務(wù),以降低應(yīng)用者的開發(fā)成本,提升調(diào)測效率。結(jié)合前面提到的算法商城,可以共同實(shí)現(xiàn)在 SDC 上的算法與應(yīng)用管理,以便讓前端智能算法和應(yīng)用可以根據(jù)不同場景、全生命周期都能夠持續(xù)演進(jìn)、敏捷開發(fā)。
完成了這三道方程式的解題,華為也就引領(lǐng)前端智能來到了一個新的維度:
這里不再是單一視覺圖像的世界,而是集合了多種傳感器,讓視覺、聽覺、雷達(dá)、定位等各種數(shù)據(jù)互相交織,形成一張全息感知的智能網(wǎng)絡(luò),為城市治理、交通等精準(zhǔn)護(hù)航;
也不再是需要重復(fù)“打補(bǔ)丁”的成本雷區(qū),通過軟件定義攝像機(jī) SDC 的開放服務(wù)化接口,讓前端可以跟隨數(shù)字技術(shù)的變化而動,不斷升級更大的價值;
更不是通用算法的“一言堂”,不同種類、不同廠商的多算法在框架體系內(nèi)生長,一同將 AI 推向各個實(shí)際場景的細(xì)枝末節(jié)之中。這樣的城市之眼,不正是你我所期許的嗎?