解讀專(zhuān)業(yè)篇! 簡(jiǎn)要了解VR音頻相關(guān)技術(shù)

    VR或3D音頻通常被稱(chēng)作是空間化，空間音頻就好像聲音來(lái)源于3D空間中的特定位置。該技術(shù)對(duì)提供深度沉浸感十分關(guān)鍵，因?yàn)槁曇魰?huì)給我們提供重要的線索，讓我們知道自己在真實(shí)三維環(huán)境中的位置。如同定位技術(shù)一樣，空間化取決于兩個(gè)關(guān)鍵因素：方向和位置。

HRTF（頭相關(guān)變換函數(shù)）與定向空間化

    根據(jù)來(lái)源方向的不同，我們耳朵的幾何形狀和結(jié)構(gòu)會(huì)相應(yīng)地改變聲音。頭相關(guān)變換函數(shù)（HRTF）會(huì)以這些不同的效果為基礎(chǔ)，然后用于定位聲音。

如何記錄HRTF

    要采集HRTF，人們需要進(jìn)入到消聲室中，戴上耳機(jī)，然后在每個(gè)可能的方向播放聲音，并通過(guò)耳機(jī)記錄那些聲音。把記錄到的聲音與原始聲音進(jìn)行比較，從而計(jì)算出具體的HRTF數(shù)據(jù)。這是因?yàn)閮芍欢浜涂捎脴颖炯枰谙喈?dāng)多的離散方向記錄聲音。當(dāng)然，并不是每個(gè)人都具有相同的身體特征，也不可能記錄每個(gè)人的HRTF，因此像微軟研究院和Oculus這樣的實(shí)驗(yàn)室會(huì)使用適合大多數(shù)情況的通用參考集，特別是當(dāng)與頭部追蹤相結(jié)合時(shí)的參考。

HRTF應(yīng)用

    在準(zhǔn)備好HRTF集之后，如果開(kāi)發(fā)者知道自己想要聲音出現(xiàn)的位置或來(lái)源方向，他們就可以選擇適當(dāng)?shù)腍RTF數(shù)據(jù)并將其應(yīng)用于聲音之中。這是以所謂的“時(shí)域卷積”或“FFT/IFFT”形式進(jìn)行實(shí)現(xiàn)。所以這些公司基本上會(huì)過(guò)濾音頻信號(hào)，讓聲音聽(tīng)起來(lái)像是來(lái)自一個(gè)特定的方向。這聽(tīng)起來(lái)好像很容易，但實(shí)際上成本十分昂貴，很難開(kāi)發(fā)。

此外，必須要用到耳機(jī)，因?yàn)閾P(yáng)聲器陣列會(huì)讓事情變得更復(fù)雜。

頭部追蹤

    人們會(huì)通過(guò)頭部運(yùn)動(dòng)來(lái)識(shí)別和定位空間中的聲音。沒(méi)有這一點(diǎn)，我們?cè)谌S空間中定位聲音的能力將大大降低。當(dāng)人們把頭轉(zhuǎn)向一邊時(shí)，開(kāi)發(fā)者必須確保他們能夠在聽(tīng)覺(jué)上反映出這種運(yùn)動(dòng)，否則，聲音會(huì)讓人感覺(jué)虛假，缺乏沉浸感。

    高端耳機(jī)已經(jīng)可以追蹤人們的頭部方向，甚至在某些情況下能夠?qū)ζ溥M(jìn)行定位。因此，如果開(kāi)發(fā)者在聲音包中加入頭部方向信息，那么他們將能夠在三維空間中投射沉浸式聲音效果。

距離建模

    HRTF可以幫助公司識(shí)別聲音的方向，但卻不能幫助識(shí)別聲音的距離。人們會(huì)使用多種條件來(lái)確定或假定聲源的距離，而這些可以通過(guò)軟件進(jìn)行模擬：

響度

    這可能是最簡(jiǎn)單的一個(gè)，同時(shí)也是我們最可靠的提示。開(kāi)發(fā)者可以根據(jù)用戶(hù)和聲源之間的距離來(lái)調(diào)低聲音的響度。

初始時(shí)間延遲

    這很難復(fù)制，它需要根據(jù)給定的一組幾何形狀及其特性來(lái)計(jì)算早期反射。這也非常昂貴，操作起來(lái)很復(fù)雜。

直接/混響聲

    任何打算以準(zhǔn)確的方式為后期混響和反射進(jìn)行建模的系統(tǒng)都會(huì)出現(xiàn)這樣的結(jié)果。而這些系統(tǒng)通常非常昂貴。

高頻衰減

    這是因?yàn)榭諝馕詹⒉幻黠@，但這很容易通過(guò)簡(jiǎn)單的低通濾波器以及通過(guò)調(diào)整斜率和截?cái)囝l率來(lái)進(jìn)行建模。高頻衰減不如其他距離線索那么重要，但我們也不能忽視它的作用。■