基于深度強(qiáng)化學(xué)習(xí)的VR業(yè)務(wù)無(wú)人機(jī)邊緣算法的應(yīng)用前景廣闊

　　近年來(lái)，5G通信的商用化推動(dòng)了虛擬現(xiàn)實(shí)（Virtual Reality, VR）技術(shù)的發(fā)展，為人們提供身臨其境的體驗(yàn)。隨著VR業(yè)務(wù)數(shù)據(jù)流量的顯著增加，用戶(hù)設(shè)備無(wú)法及時(shí)處理超大計(jì)算量的VR業(yè)務(wù)渲染請(qǐng)求，因此難以滿(mǎn)足用戶(hù)的低延時(shí)需求。為了應(yīng)對(duì)這一挑戰(zhàn)，在無(wú)線(xiàn)網(wǎng)絡(luò)邊緣部署無(wú)人機(jī)（Unmanned Aerial Vehicle, UAV）移動(dòng)邊緣計(jì)算（Mobile edge computing, MEC）服務(wù)器，提供下沉式計(jì)算服務(wù)，協(xié)助VR設(shè)備實(shí)時(shí)完成渲染具有重大意義。

　　邊緣計(jì)算是5G系統(tǒng)商用化的關(guān)鍵技術(shù)之一，是一種新型的分布式計(jì)算方式，通過(guò)在無(wú)線(xiàn)接入網(wǎng)處部署邊緣服務(wù)器，處理覆蓋范圍內(nèi)的用戶(hù)隨機(jī)發(fā)起的計(jì)算任務(wù)，能夠有效地降低了回程網(wǎng)絡(luò)擁塞，極大縮短服務(wù)時(shí)延，滿(mǎn)足延遲敏感型應(yīng)用的需求。為了及時(shí)處理VR應(yīng)用產(chǎn)生龐大的圖像和視頻數(shù)據(jù)，可以將圖像、視頻數(shù)據(jù)卸載到計(jì)算能力較強(qiáng)的邊緣服務(wù)器中進(jìn)行渲染分析處理，從而降低平均處理時(shí)延，為保證用戶(hù)視覺(jué)體驗(yàn)。除了在VR業(yè)務(wù)中的應(yīng)用前景，移動(dòng)邊緣計(jì)算憑借其低時(shí)延、高感知和智能化等特點(diǎn)，在智能駕駛、智慧樓宇和智慧城市領(lǐng)域得到了廣泛的應(yīng)用。

　　無(wú)人機(jī)（Unmanned Aerial Vehicle, UAV）在通信領(lǐng)域發(fā)揮了出色的作用，它可以作為空中基站或通信中繼來(lái)協(xié)助構(gòu)建立體的無(wú)線(xiàn)通信網(wǎng)絡(luò)。與傳統(tǒng)地面通信相比，無(wú)人機(jī)輔助通信可以按需快速部署，特別適用于應(yīng)急通信保障。同時(shí)無(wú)人機(jī)不僅能夠獲取開(kāi)闊的視野加大覆蓋率，還能有效的避免障礙物對(duì)信號(hào)的阻擋，更容易建立可靠的視距通信鏈路。此外，無(wú)人機(jī)可以搭載MEC服務(wù)器就近為用戶(hù)提供數(shù)據(jù)計(jì)算服務(wù)，不僅成本低而且部署更為靈活，同時(shí)可以根據(jù)用戶(hù)移動(dòng)性、業(yè)務(wù)請(qǐng)求量以及資源分配情況進(jìn)行動(dòng)態(tài)調(diào)整，能夠更好得提高用戶(hù)體驗(yàn)質(zhì)量。正因如此，無(wú)人機(jī)憑借其低成本、部署靈活性、高機(jī)動(dòng)性得到了廣泛的應(yīng)用。將無(wú)人機(jī)與5G通信的大帶寬、低時(shí)延的特性相結(jié)合，代替人類(lèi)完成空中作業(yè)，將會(huì)擁有在未來(lái)有非凡的意義和潛力。目前應(yīng)用場(chǎng)景常見(jiàn)如：遙感測(cè)繪、農(nóng)業(yè)植保、物流運(yùn)輸、電力巡查和應(yīng)急救援等。

　　針對(duì)VR業(yè)務(wù)隨機(jī)到達(dá)和處理超時(shí)無(wú)效等特性，來(lái)自深圳蜂?？萍迹‵engniu Technology）有限公司研發(fā)總監(jiān)王智杰是國(guó)內(nèi)著名VR技術(shù)專(zhuān)家，他長(zhǎng)期從事人機(jī)交互領(lǐng)域的研究，在計(jì)算機(jī)視覺(jué)和交互技術(shù)等領(lǐng)域有著卓越的研究成就，并將研究成果應(yīng)用于跨境電商直播系統(tǒng)的開(kāi)發(fā)，他創(chuàng)新性地將人臉?lè)治黾{入計(jì)算框架，這一原創(chuàng)貢獻(xiàn)對(duì)基于VR技術(shù)的無(wú)人機(jī)（UAV）巡檢系統(tǒng)的研發(fā)產(chǎn)生了積極影響。

　　2022年3月，王智杰提出了單無(wú)人機(jī)邊緣計(jì)算協(xié)助的VR業(yè)務(wù)渲染方法。在設(shè)備能量約束下，通過(guò)聯(lián)合優(yōu)化無(wú)人機(jī)飛行軌跡和VR渲染模式，最大化VR業(yè)務(wù)的渲染完成率，并將這個(gè)問(wèn)題建模為馬爾科夫決策過(guò)程。為了找到最優(yōu)策略，在深度強(qiáng)化學(xué)習(xí)的框架下，他進(jìn)一步提出了一種基于雙延遲深度確定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）的無(wú)人機(jī)邊緣計(jì)算輔助渲染算法。具體而言，王智杰根據(jù)VR用戶(hù)位置和設(shè)備能量狀態(tài)，對(duì)無(wú)人機(jī)軌跡和VR渲染模式進(jìn)行優(yōu)化，盡可能滿(mǎn)足隨機(jī)到達(dá)的VR任務(wù)在限定時(shí)間內(nèi)渲染要求。仿真結(jié)果表明，該方法在渲染完成率和收斂速度方面均優(yōu)于主流的深度確定性策略梯度（Deep Deterministic Policy Gradient, DDPG）和軟動(dòng)作評(píng)價(jià)（Soft Actor-Critic, SAC）等強(qiáng)化學(xué)習(xí)算法以及隨機(jī)控制策略。

圖1：基于強(qiáng)化學(xué)習(xí)算法和隨機(jī)策略的收斂性

　　首先遠(yuǎn)程渲染是把每個(gè)設(shè)備的所有VR任務(wù)都被卸載到無(wú)人機(jī)上進(jìn)行渲染。遠(yuǎn)程&本地渲染表示每個(gè)VR任務(wù)在設(shè)備上進(jìn)行本地處理或在無(wú)人機(jī)MEC服務(wù)器上進(jìn)行遠(yuǎn)程渲染。在王智杰提出的算法中有四種VR渲染模式：本地、遠(yuǎn)程、合作渲染和無(wú)渲染用來(lái)處理VR任務(wù)。當(dāng)可以選擇更多的VR渲染方式時(shí)收斂速度會(huì)變慢，其中遠(yuǎn)程渲染的算法具有最快的收斂速度，而所提的算法收斂速度最慢，原因在于當(dāng)有多種VR渲染模式選擇時(shí)，動(dòng)作空間的維度會(huì)明顯增大，但有利于VR渲染的完成率提高。在仿真中本地&遠(yuǎn)程渲染模式的算法在收斂后幾乎達(dá)到了與他提出的算法相同的完成率。事實(shí)上，王智杰提出的算法能適應(yīng)更復(fù)雜的場(chǎng)景如：無(wú)人機(jī)計(jì)算能力較低或更多的VR設(shè)備的場(chǎng)景，從而填補(bǔ)了行業(yè)應(yīng)用和研究的空白。

　　2023年8月，為了適應(yīng)于由云端、多無(wú)人機(jī)和地面VR用戶(hù)節(jié)點(diǎn)組成的更復(fù)雜的網(wǎng)絡(luò)環(huán)境， 王智杰建立了無(wú)人機(jī)輔助通信系統(tǒng)架構(gòu)（UAV assisted communication system architecture），首次在行業(yè)提出了基于多智能體深度確定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient, MADDPG）的多無(wú)人機(jī)輔助的VR業(yè)務(wù)實(shí)時(shí)渲染算法，他采用集中訓(xùn)練和分布式執(zhí)行的思想，在集中訓(xùn)練階段根據(jù)全局信息學(xué)習(xí)到最優(yōu)的策略，在分布式執(zhí)行階段每個(gè)智能體能夠利用對(duì)系統(tǒng)的局部觀察信息快速做出獨(dú)立的決策，合作完成隨機(jī)到達(dá)的VR任務(wù)實(shí)時(shí)渲染的要求，最大化總的渲染完成率。仿真結(jié)果表明，所提方法在渲染完成率和算法收斂速度等方面優(yōu)于基線(xiàn)策略，在大網(wǎng)絡(luò)規(guī)模情況下將VR業(yè)務(wù)的渲染完成率提升到95%，遠(yuǎn)高于行業(yè)水平。

圖2：無(wú)人機(jī)輔助通信系統(tǒng)架構(gòu)（UAV assisted communication system architecture）

圖3：VR渲染模型系統(tǒng)（VR rendering system model）

　　在當(dāng)今的技術(shù)飛速發(fā)展的時(shí)代，無(wú)人機(jī)和虛擬現(xiàn)實(shí)技術(shù)的進(jìn)步為人們提供了前所未有的技術(shù)革新，這兩個(gè)技術(shù)的結(jié)合為人們創(chuàng)造出了一個(gè)無(wú)限延伸的數(shù)字空間，能夠讓人們?nèi)硇牡爻两诟叨确抡娴膱?chǎng)景中?？偟膩?lái)說(shuō)，無(wú)人機(jī)和 VR 技術(shù)的結(jié)合為人們帶來(lái)了新的奇妙數(shù)字空間，為各行各業(yè)帶來(lái)了前所未有的便利和效率。未來(lái)，我們相信這兩種技術(shù)都將繼續(xù)不斷創(chuàng)新和發(fā)展，并且我們有理由相信，它們已經(jīng)成為了我們?nèi)粘Ｉ钪胁豢扇鄙俚闹匾夹g(shù)。（作者：徐振生）

　　轉(zhuǎn)自：中國(guó)網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀