應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

空間音頻≠真實(shí)現(xiàn)場(chǎng) 聲卡的終極形態(tài)其實(shí)是顯卡

2020-07-17 09:03 中關(guān)村在線

導(dǎo)讀:蘋果這次更新的空間音頻就是通過(guò)陀螺儀將聲場(chǎng)鎖死的方式,通過(guò)算法為用戶改變聲場(chǎng)方位感。

前段時(shí)間的蘋果開發(fā)者大會(huì)上,蘋果公司為AirPods Pro公布了全新“空間音頻”功能,并稱該空間音頻功能支持5.1/7. 1 音源和杜比音效,且能通過(guò)內(nèi)置的陀螺儀感應(yīng)頭部的移動(dòng),來(lái)實(shí)時(shí)跟蹤和同步各個(gè)方向的聲場(chǎng)。

空間音頻≠真實(shí)現(xiàn)場(chǎng) 聲卡的終極形態(tài)其實(shí)是顯卡

空間音頻對(duì)于多數(shù)人來(lái)說(shuō)并不是一個(gè)陌生的東西,其基礎(chǔ)就是源于模擬7.1聲道的電競(jìng)耳機(jī)。隨著fps游戲引燃了電競(jìng)市場(chǎng)“聽(tīng)音辨位”這一需求,通過(guò)算法帶來(lái)更精確位置感的聲音算法技術(shù)也越來(lái)越受到耳機(jī)廠商們的重視。隨著市場(chǎng)逐漸飽和,廠商們又開始在新的方向上尋求突破,比如蘋果這次更新的空間音頻就是通過(guò)陀螺儀將聲場(chǎng)鎖死的方式,通過(guò)算法為用戶改變聲場(chǎng)方位感。然而這種通過(guò)直接渲染輸出聲音的方式真的是我們追求的真實(shí)現(xiàn)場(chǎng)的臨場(chǎng)感嗎?筆者的答案是否定的。

空間音頻≠真實(shí)現(xiàn)場(chǎng)

作為一個(gè)資深的PUBG咸魚玩家,筆者深知模擬真實(shí)的臨場(chǎng)感對(duì)玩家的重要性。蘋果把空間音頻功能的重心放在“頭部追蹤+鎖聲場(chǎng)”上。從聽(tīng)感的角度來(lái)說(shuō),只要人頭位置不變,該功能的效果等于不存在。在人頭位置不變時(shí),開啟這項(xiàng)功能帶來(lái)的音質(zhì)改變類似EQ效果,至于對(duì)音質(zhì)的影響是正面還是負(fù)面也很難有定論。因此,AirPods Pro音質(zhì)會(huì)提升這件事情顯然只是炒作,信他個(gè)鬼。

空間音頻≠真實(shí)現(xiàn)場(chǎng) 聲卡的終極形態(tài)其實(shí)是顯卡

反觀該功能的實(shí)際應(yīng)用,空間音頻這項(xiàng)功能真的有意義嗎?玩游戲時(shí)1s不盯著屏幕都有可能暴斃、看電影的時(shí)候轉(zhuǎn)頭也有可能錯(cuò)過(guò)場(chǎng)景。更糟糕的是,如果開啟空間音頻,用戶在玩游戲的時(shí)候一旦頭部方向不正甚至?xí)苯訉?dǎo)致方向感出現(xiàn)問(wèn)題,可見(jiàn)其很有可能帶來(lái)成事不足、敗事有余的體驗(yàn)。

再者說(shuō),讓觀看畫面的用戶頭部轉(zhuǎn)動(dòng),手機(jī)、電腦端的畫面并不是像VR游戲那樣隨著人體轉(zhuǎn)動(dòng)而變化的。這種體驗(yàn)就好比井底之蛙,即使換個(gè)角度能聽(tīng)到其他方的聲音,卻也只能看到一成不變的畫面,這與真實(shí)的臨場(chǎng)感絕對(duì)是背道而馳的。

如何獲得真實(shí)的臨場(chǎng)感?這還要從人耳聲源定位開始說(shuō)起

人耳朵分辨聲音的方向的方式主要分為兩類,一類是聲音到兩耳朵的時(shí)間差、一類是聲音到耳朵的音量差。

空間音頻≠真實(shí)現(xiàn)場(chǎng) 聲卡的終極形態(tài)其實(shí)是顯卡

低頻段的聲波(20-1.5kHz)波長(zhǎng)大于一般人頭的直徑,因此人在聽(tīng)到這個(gè)頻段的聲音時(shí)兩耳感受到的音量是差不多的。在這個(gè)頻段區(qū)間內(nèi),聽(tīng)覺(jué)中樞依據(jù)兩耳聲波的相位差來(lái)計(jì)算聲源位置,從而給人腦遞出方向信號(hào)。

高于2kHz的中高頻聲音的波長(zhǎng)較低,無(wú)法繞過(guò)人頭抵達(dá)對(duì)側(cè)耳朵。這導(dǎo)致該聲波在穿過(guò)人頭部時(shí)強(qiáng)度會(huì)有所衰減,使人的兩耳聽(tīng)起來(lái)聲音不一樣大。人耳通過(guò)大小不同的音量差可以精確的識(shí)別聲音的方位,并給人腦遞出方向信號(hào)。

同時(shí),因?yàn)槊總€(gè)人的身材、頭部大小、耳朵形狀等生理因素,每個(gè)人的大腦會(huì)自行學(xué)習(xí)和適應(yīng)。這意味著算法必須要因人而異,如果不能將每個(gè)人獨(dú)有的生理因素計(jì)算在內(nèi),其效果也很難得到保障。

除了人耳對(duì)聲源的定位,還有空間中的聲音還會(huì)受回聲、混響和擴(kuò)散的影響

回聲:聲源發(fā)出的聲波會(huì)向各個(gè)方向傳播,有些聲波會(huì)直接達(dá)到人耳,也就是我們所說(shuō)的直達(dá)聲。除此之外,還有一些聲音會(huì)接觸到墻壁、地面等物質(zhì)結(jié)構(gòu)上被在此發(fā)射,形成一個(gè)二次、三次甚至更多次的聲源。如果這些反射聲的延時(shí)相距直達(dá)聲50ms以上,則稱之為回聲。要知道的值,在聲音從左耳至右耳貫穿人頭時(shí),兩耳聽(tīng)到聲音的時(shí)間差在10us時(shí)即可被分辨??梢?jiàn)想要實(shí)現(xiàn)真實(shí)的臨場(chǎng)感,回聲相關(guān)的計(jì)算是必不可少的。

混響:聲源在發(fā)出聲音后,聲音會(huì)在當(dāng)前環(huán)境中的物質(zhì)結(jié)構(gòu)碰撞并反射。原聲消失后,空間中仍然可以聽(tīng)到的聲音就是混響,一般出現(xiàn)在房間內(nèi)?;祉懯窃陔娪?、音樂(lè)、游戲中常見(jiàn)的聲音渲染效果。

擴(kuò)散:當(dāng)聲波撞擊凸凹不平或呈球面狀的表面時(shí),聲音會(huì)向物體內(nèi)部分散或被擴(kuò)散。擴(kuò)散常用于用來(lái)減弱聲音的反射,其受物體材料、形狀、表面粗糙度、密度分布等影響較大,很多游戲內(nèi)的聲音聽(tīng)起來(lái)假的一部分原因,就是因?yàn)樗鼈儧](méi)有重視聲音擴(kuò)散的效果計(jì)算。

空間音頻≠真實(shí)現(xiàn)場(chǎng) 聲卡的終極形態(tài)其實(shí)是顯卡

從人耳的聲源定位,到回聲、混響、擴(kuò)散對(duì)聲音的影響,可見(jiàn)想要實(shí)現(xiàn)完美的真實(shí)臨場(chǎng)感,通過(guò)空間建模、將現(xiàn)實(shí)中影響聲音的因素計(jì)算在內(nèi)是必須的。如果聲卡中能夠出現(xiàn)類似顯卡的“光線追蹤”,讓聲卡能夠?qū)崿F(xiàn)“聲音路徑追蹤”。如果有了追蹤聲音路徑的技術(shù),無(wú)論是模擬音樂(lè)現(xiàn)場(chǎng)、電影、游戲還是任何三次元中可能存在的音頻,它都可以實(shí)現(xiàn)如同真實(shí)回放。這也是為什么筆者在標(biāo)題中會(huì)說(shuō):聲卡的終極形態(tài)其實(shí)是顯卡。

空間音頻≠真實(shí)現(xiàn)場(chǎng) 聲卡的終極形態(tài)其實(shí)是顯卡

當(dāng)前主流顯卡的算力拿來(lái)計(jì)算聲音的效果絕對(duì)是夠的,但是聲音相關(guān)的技術(shù)算法還沒(méi)有到位。至于未來(lái)會(huì)不會(huì)實(shí)現(xiàn)以及實(shí)際價(jià)值,只看有沒(méi)有大廠愿意投錢去做這個(gè)事情了。沒(méi)準(zhǔn)哪天英偉達(dá)高管開始燒HiFi或VR的時(shí)候意識(shí)到這個(gè)問(wèn)題,就把它做了呢~

寫在最后

想要提升音質(zhì)、帶來(lái)真實(shí)的現(xiàn)場(chǎng)感,耳機(jī)產(chǎn)品面臨的最大問(wèn)題并非在于聲場(chǎng)的方向上,而是在與耳機(jī)本身無(wú)法適應(yīng)每個(gè)人獨(dú)有的體態(tài)特征導(dǎo)致的差異化聽(tīng)感。想要解決它,只需像顯卡一樣針對(duì)個(gè)人體態(tài)特征建模似乎才是正確的手段。至于期待AirPods Pro的“空間音頻”能給你帶來(lái)如同身臨其境聽(tīng)音體驗(yàn)的朋友,我勸你還是省省吧!有這錢,還是買HiFi耳機(jī)香一些。