技術(shù)
導(dǎo)讀:12月14日,OPPO正式發(fā)布首款自研NPU芯片——馬里亞納MariSilicon X。
12月14日,OPPO正式發(fā)布首款自研NPU芯片——馬里亞納MariSilicon X。作為首個(gè)專為影像而生的NPU芯片,馬里亞納 MariSilicon X基于面向未來(lái)AI時(shí)代的DSA新黃金架構(gòu)理念,通過(guò)自主創(chuàng)新的IP設(shè)計(jì)以及6nm先進(jìn)制程,帶來(lái)空前強(qiáng)大的實(shí)時(shí)AI計(jì)算能效,領(lǐng)先行業(yè)的Ultra HDR能力,無(wú)損的實(shí)時(shí)RAW計(jì)算,以及最大化傳感器能力的RGBW Pro,以芯片級(jí)技術(shù)突破成就計(jì)算影像的新標(biāo)準(zhǔn)。
OPPO發(fā)布首個(gè)自研NPU芯片——馬里亞納MariSilicon X
OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波表示:“馬里亞納 MariSilicon X是 OPPO未來(lái)十年影像的開(kāi)篇之作,它的問(wèn)世標(biāo)志著OPPO在計(jì)算影像領(lǐng)域首次實(shí)現(xiàn)了全鏈路垂直整合,將完全服務(wù)于OPPO定制化的計(jì)算影像需求。未來(lái),馬里亞納MariSilicon X 將和通用平臺(tái)一起構(gòu)成了手機(jī)核心運(yùn)算的左右大腦,正式開(kāi)啟‘一機(jī)雙芯’時(shí)代?!?/p>
空前強(qiáng)大實(shí)時(shí)AI計(jì)算能效,移動(dòng)NPU的能效里程碑
馬里亞納 MariSilicon X集成了自研的MariNeuro AI計(jì)算單元,提供高達(dá)18TOPS的最大有效算力,以及業(yè)界領(lǐng)先的11.6TOPS/W的能效表現(xiàn),面向OPPO自研AI算法,實(shí)現(xiàn)最高效的計(jì)算加速和功耗優(yōu)化。
例如在運(yùn)行OPPO自研的AI降噪算法時(shí),馬里亞納MariSilicon X能夠以4K的規(guī)格,實(shí)現(xiàn)40fps的處理速度,相比于此前Find X3 Pro通用NPU支持的2fps速度,實(shí)現(xiàn)了20倍的性能躍升,同時(shí)功耗降低超過(guò)50%,體現(xiàn)了越專用越高效的顯著優(yōu)勢(shì)。
馬里亞納MariSilicon X還采用了創(chuàng)新的雙層存儲(chǔ)架構(gòu),為AI計(jì)算的卓越能效和實(shí)時(shí)性提供有力的支持。其中,馬里亞納MariSilicon X集成了片上的內(nèi)存子系統(tǒng),可提供高達(dá)每秒萬(wàn)億比特的超大吞吐量,保障海量的AI數(shù)據(jù)在計(jì)算時(shí)無(wú)需離開(kāi)AI計(jì)算單元,避免內(nèi)外部數(shù)據(jù)交換帶來(lái)的讀寫(xiě)功耗。此外,馬里亞納 MariSilicon X還配備了獨(dú)立DDR帶寬,傳輸速度高達(dá)8.5GB/秒,為芯片內(nèi)各個(gè)計(jì)算單元提供獨(dú)立帶寬,讓超強(qiáng)算力不會(huì)被讀寫(xiě)速度所限制。獨(dú)立DDR帶寬的加入,也為手機(jī)系統(tǒng)總帶寬帶來(lái)了17%的增量。
行業(yè)領(lǐng)先的影像處理能力,設(shè)立HDR新標(biāo)桿
馬里亞納 MariSilicon X還集成了自研的MariLumi??影像處理單元,并實(shí)現(xiàn)了HDR性能的新突破。
MariLumi影像處理單元支持最高20bit的處理位寬,并支持驚人的20bit Ultra HDR,是目前旗艦平臺(tái)HDR能力的4倍。在即時(shí)呈現(xiàn)出的畫(huà)面中,最亮與最暗之處的亮度對(duì)比極值達(dá)到100萬(wàn)比1,幾乎與人眼真實(shí)的感受無(wú)異。
馬里亞納 MariSilicon X 4K視頻截圖 V.S. Find X3 Pro 4K視頻截圖
20bit 實(shí)時(shí)RAW計(jì)算,計(jì)算影像無(wú)損處理的新范式
馬里亞納 MariSilicon X的強(qiáng)大性能幫助OPPO重塑無(wú)損影像鏈路,將傳統(tǒng)鏈路只能在后端完成的AI計(jì)算推向了擁有最多原始信息的最前端——RAW域,為計(jì)算攝影的未來(lái)發(fā)展帶來(lái)革新。
傳統(tǒng)計(jì)算攝影的視頻處理基本是在影像鏈路的最末端,即YUV域執(zhí)行,但鏈路中的多次轉(zhuǎn)換會(huì)導(dǎo)致圖像數(shù)據(jù)丟失了大量的信息和細(xì)節(jié),這也導(dǎo)致傳統(tǒng)計(jì)算攝影只能對(duì)有損的信息進(jìn)行處理,無(wú)法實(shí)現(xiàn)最佳的效果。
馬里亞納MariSilicon X引領(lǐng)性地將復(fù)雜的AI算法以及20bit HDR融合全部前置到RAW域進(jìn)行,讓AI計(jì)算不再受限于信息量的損耗,為整個(gè)影像鏈路輸出高質(zhì)量的圖像數(shù)據(jù)。與傳統(tǒng)后端計(jì)算相比,馬里亞納 MariSilicon X的實(shí)時(shí)RAW計(jì)算能夠帶來(lái)8dB的圖像信噪比提升。
專屬的RGBW Pro模式,實(shí)現(xiàn)傳感器能力的最大化
擁有馬里亞納 MariSilicon X之后,OPPO第一次完成了影像垂直鏈路整合,RGBW Pro模式就是最好的例證。通過(guò)雙通路設(shè)計(jì),馬里亞納MariSilicon X首次實(shí)現(xiàn)了對(duì)RGB和W像素的分隔處理,最大化利用每一種像素特性,釋放出RGBW陣列的全部潛力。馬里亞納 MariSilicon X的RGBW Pro模式帶來(lái)了8.6dB的信噪比提升,以及1.7倍的解析力提升,在傳感器尺寸規(guī)格都沒(méi)有變化的前提下實(shí)現(xiàn)大幅的影像效果增強(qiáng)。
AI夜景視頻首次達(dá)到4K規(guī)格,計(jì)算影像的新標(biāo)桿
在四項(xiàng)前沿技術(shù)突破的加持下,馬里亞納 MariSilicon X以同時(shí)支持4K+20bit RAW計(jì)算+AI+Ultra HDR的全新規(guī)格,為計(jì)算影像樹(shù)立了全新標(biāo)準(zhǔn),讓安卓AI視頻,首次擁有了4K表現(xiàn);也讓4K視頻,第一次擁有了AI能力。
馬里亞納 MariSilicon X 4K視頻截圖 V.S. Find X3 Pro 4K視頻截圖
馬里亞納 MariSilicon X將于2022年第一季度在OPPO高端旗艦Find X系列新品首發(fā)搭載,以雙芯時(shí)代正式開(kāi)啟面向未來(lái)十年的計(jì)算影像新篇章。