再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

Esther|编辑

近年来,VR在视觉、交互、舒适性等方面得到了长足发展,尤其是VR一体机更是让我们看到了打开主流市场的潜力。与PC VR相比,VR一体机有成本低、便携、方便设置等多种优势,尽管如此VR一体机的视觉效果与PC VR依然有明显差距。

实际上,尽管Quest 2等VR一体机的分辨率、刷新率比之前有所提升,受限于其搭载的移动芯片,VR一体机并不能流畅运行PC VR应用中的全部内容。因此,VR开发者将PC VR游戏移植到一体机端时,通常需要进行大量优化,削减应用中的图形、对比度等视觉元素。

我们知道,在性能优化方面,Quest 2可谓做到了极致,不仅要求VR开发者针对其优化应用,其系统本身也为开发者提供了提升应用运行效果的功能。比如在去年11月,Meta为Quest推出了专属的插帧技术Application SapceWarp(AppSW),类似于VR一体机版“Oculus ASW”(二者结果类似,但原理不同)。

对于高质量VR一体机游戏,尤其是PC VR移植到一体机中的游戏来讲,AppSW将是一项提升性能、丰富内容的重要工具。不过,目前Quest商店只有《Green Hell VR》一款VR游戏支持AppSW,而且虽然它启动了AppSW功能,却并不足以还原PC VR版的图形质量。为此,近期Meta将Epic开发的一个PC VR demo 《Showdown》移植到Quest平台,以测试AppSW对于VR游戏画质的提升。结果发现,在VR一体机中渲染图形的效果也能足够接近PC VR。

关于移植《Showdown》

据青亭网了解,《Showdown》是Epic在2014年基于UE4开发的一个VR影片,其目的是展示一种沉浸的子弹时间慢动作画面,当年在Rift上演示的效果令人惊艳。

PC VR版《Showdown》效果

而在Quest时代,Meta也希望通过该影片来展示VR一体机在渲染图形上的潜力。于是,便《Showdown》移植到Quest平台,并尽可能保留了PC VR版的图形效果。《Showdown》中演示的机器人战斗场景包含复杂的细节,在Rift上可以清晰、流畅的运行,但这对于VR一体机却很难。而利用SpaceWarp(AppSW)功能,移植版《Showdown》可在Quest 2上以90Hz刷新率运行,从而将VR眼镜的性能提高70%。这样可以省很多电。

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

除此之外,Meta还在Quest移植版《Showdown》中加入了一种“头部锁定模式”,其本质类似于一个静态相机,特点是可暂停场景并锁定相机位置和方向,因此渲染的每一帧都是相同的。

为了验证AppSW为一体机移植版《Showdown》带来的提升,Meta启动了Oculus性能调试工具OVR Metrics。启用AppSW后,帧与帧的间隔时间是原来的两倍,这为CPU和GPU任务处理提供了更多余量。

关于AppSW

AppSW和ASW都是用来优化VR性能的工具,但二者的原理却不同。ASW是面向PC VR,无需开发者对App进行预处理,只需要GPU支持即可,最初目的是解决低端GPU适配问题。原理是,根据历史帧的画面分析运动矢量,可以看作是适量估算方案,从而生成帧补足90FPS。

AppSW是面向移动VR,完全由开发者对App控制,需要在开发和设计阶段管理。原理是,基于应用内原始数据的运动矢量,不依赖任何矢量估算,因此在逻辑上可以生成更逼真视觉效果。AppSW使用的运动矢量质量更高,更接近“真实”运动矢量,因此整体插帧效果优秀。

换句话说,AppSW不仅仅是合成帧,它包含了一系列技术组合,以为VR一体机应用提供流畅、优质的视觉体验。

简单来讲,就是AppSW可以优化Quest游戏的效果,尤其是可以提升刷新率。该功能基于引擎来驱动,将会支持OpenXR和Vulkan,不再支持以前的Oculus API和OpenGL。

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

AppSW与Oculus ASW的功能和原理,主要是通过插帧实现帧率翻倍,从而降低设备原始输出,实现原始一半帧率运行输出。也就是说,在Quest 1(原始72Hz)可以实现36FPS输出,Quest 2(支持72Hz、90Hz、120Hz)可以分别通过36FPS、45FPS、60FPS来进行适配。

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

另外,AppSW是一个可供开发者选择的功能,需要在开发/设计VR应用的阶段激活。此外,开发者可以完全控制每一个运动矢量/深度,以及设置固定注视点渲染、色调映射、帧渲染率、像素密度、多重采样抗锯齿、CPU/GPU级别等参数,因此有足够多的创新空间。

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

在向VR一体机移植应用时,不能直接将PC VR版全部内容直接平移,VR开发者需要根据一体机有限的计算能力去优化应用内容,甚至精简3D资源和视觉效果。而利用AppSW,VR应用可以在保持90Hz刷新率的同时,节省出部分算力,用来渲染更多额外的VR内容。这样的好处是,可以降低设备原始输出帧率,降低设备负载和功耗,尤其是在性能较低的设备上可以实现更好的画面表现。当PC VR应用移植到VR一体机中时,则不需要牺牲太多内容,视觉效果可以比以往更接近PC VR,可保留色彩查找表LUT(采用vulkan色调映射子通道),以及更多用于渲染子弹碰撞和爆炸的粒子。

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

但劣势是,帧合成增加了总GPU成本,而且可能会出现延迟翻倍,视觉拖影或类似情况。不过在初始测试中,AppSW为应用程序提供了高达70%的额外计算,未发现肉眼明显可察觉的伪影。

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

而为了降低延迟,Meta通过三种方式优化了AppSW的运行流程:1)根据应用的工作量来推迟执行头显和手柄传感器读书;2)将传感器读取时间进一步延迟到CPU渲染帧结束,这样可以节省一帧延迟;3)定位TimeWarp(PTW),进一步纠正头显转换延迟。

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

接下来,Meta还将鼓励更多VR开发者支持AppSW功能,包括发布更多文章,为开发者提供关于优化VR一体机画质的更多具体建议。值得注意的是,AppSW目前仅支持OpenXR应用,Unity应用可使用Oculus XR插件和OpenXR后端,感兴趣的也可以在App Lab中下载Quest版《Showdown》,体验一下AppSW的效果如何。

参考:

https://developer.oculus.com/blog/showdown-on-quest-part-1-how-app-spacewarp-improves-performance-/

( END)


推荐阅读


再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解


再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解


再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解

再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解每天五分钟,轻松了解前沿科技。
——青亭网再次榨干XR2性能,Meta Quest专属插帧技术AppSW详解
上一篇:用户视角下的数据安全需求、挑战与演进
下一篇:盖茨:已感染新冠,正在隔离;苹果正式停产 iPod Touch;马斯克:收购推特后将遵守欧盟规定|极客早知道

相关推荐

“入职10年,一朝被优化”:我终于明白普通人、牛人之间的差距到底在哪

1033 MBA智库

文/姜榆木编辑/MBA智库琉琉香港大学MBA最近预告了一场分享活动,主题是:「乌卡时代」下,如何应对职业的瓶颈和焦虑?所谓“乌卡(VUCA)”,是不稳定(Volatile)、不确定(Uncertain)、复杂(Complex)、模糊(Ambiguous)的总称。而「乌卡时代」,让我想起知乎上一个热议多年的话题:给你100万,你是付首付,还是读MBA?相比于前

白血病还在苦苦等待骨髓移植?免疫细胞治疗新选择!

白血病还在苦苦等待骨髓移植?免疫细胞治疗新选择!

540 血液病专家

点击上方蓝字关注我们吧白血病,别名血癌!民间有很多关于它是不治之症的说法,其实不然,随着现在医学的发展,白血病也有了克星,存活率大大提高,愈后基本上能与正常人无异。什么是白血病?白血病,一种源于骨髓中干细胞的癌症。干细胞就像一个婴儿,功能虽尚未发展,但蕴含着巨大的潜能,骨髓里的干细胞能分化成不同种类的血细胞,如红细胞,血小板,白细胞(免疫细胞)等。但有时候干

全球首例猪心移植患者死因公布,或与感染猪病毒有关

全球首例猪心移植患者死因公布,或与感染猪病毒有关

977 梅斯医学

今年1月7日,梅斯曾报道过一项轰动一时、极具开创性的手术——马里兰大学(UniversityofMaryland)医学院的科学家和临床医生成功地将猪的心脏移植到患有终末期心脏病的成年患者体内。这是世界医学史上,首次成功地将猪心移植到人体,是心脏异种移植领域的一项里程碑。(详情见:世界首次!美国成功将“猪心”移植给活人,异种移植为什么选猪呢?)可惜好景不长,当

首例猪心移植患者去世后,科学家们在猪心里找到了病毒

首例猪心移植患者去世后,科学家们在猪心里找到了病毒

224 药明康德

▎药明康德内容团队编辑“你确定我等不到一颗人类的心脏吗?”在被送往手术室的路上,大卫·本内特(DavidBennett)问他的医生。医生把他的话当作一句缓解气氛的玩笑,因为大卫知道他很快就要接受心脏的移植。将要放入他胸腔的,是一颗来自猪的心脏。▲一颗猪心即将被移植入大卫的体内(图片来源:马里兰大学授权使用;UNIVERSITYOFMARYLANDSCHOOL

Kimoa推出3D打印优化的电动自行车,售价3999美元

Kimoa推出3D打印优化的电动自行车,售价3999美元

1871 未知大陆

两届F1世界冠军费尔南多·阿隆索在迈阿密大奖赛开幕之际发布了一款新型3D打印优化的电动自行车。这款电动自行车由Alonso创立的生活方式品牌Kimoa推出,采用Arevo-3D打印一体式车架,使其高度可定制,并且比胶合或螺栓连接的竞争对手更坚固、更轻便。Kimoa的电动自行车零售价将超过3999美元,为了庆祝这款车的首次亮相,其经销商之一SimplyEV在迈

《英雄联盟手游》3.2版本“时之潮”开发者日志 将推出“重开”对局及队友挂机补偿

《英雄联盟手游》3.2版本“时之潮”开发者日志 将推出“重开”对局及队友挂机补偿

122 17173手游网

今日《英雄联盟手游》公布了3.2版本的开发者日志,该版本将加入的新英雄,除确认即将登陆峡谷的深海泰坦・诺提勒斯、血港鬼影・派克外,视频最后的英雄彩蛋还透露时间刺客・艾克也将在3.2版本登场。据了解,在“时之潮”更新中《英雄联盟手游》会推出新的符文、控制守卫,以带来更多创新游戏玩法的机会。逃兵补偿方面,为了改善玩家的游戏体验,新版本将推出“重开”对局选项以及队

人民日报评县中困境:均衡资源和优化生态同等重要 | 人民锐见

989 人民日报评论

很多县城,都有一所叫作“一中”的高中。它往往是本地教育资源的高地,也是当地学子圆梦大学的摇篮。县中,在很长一段时间内,寄托着人们的期望,也让无数人通过知识改变命运。曾经的“县中辉煌”常被人津津乐道,而今的“县中困境”,却也同样令人忧心。近日,有媒体调查发现,“政策扶持令县中发展难题得到一定改善,但要实现可持续发展提升还需迈过多道坎”。从辉煌到低落,县中何去何

开源开放,共建开发者新生态!| 2022 开发者生态汇

1343 CSDN

在数字化成为当下科技发展的主旋律之一时,数据的量级、服务的时效性和复杂性正呈现指数级增长,依托AI、物联网、云原生、基础软件等技术力量的崛起,开源创新为开发者范式带来了巨变,开发者生态发展也迎来了高光时刻。3月30日,由CSDN和《新程序员》特别举办“开发者生态汇——2022IT技术影响力之星”活动隆重举行,邀请了CSDN创始人&董事长、极客帮创投创

私房话

“他最近抑郁了?原来只是出轨了。”|恋爱里的小丑竟是我自己。

324 曲玮玮

我发现了一个规律,女生总是喜欢在爱情里自我感动。为什么很多女孩明明被渣却不自知,还沉浸于自己编造的甜蜜爱情里?就是因为她们的脑补能力太强,有着莫名其妙的同情心,和异常强大的同理心。男朋友犯了某个错误,正在想道歉理由时,女生已非常懂事的为他找好了借口。然后自我感动到:“唉,我真是太善解人意了,他一定会更爱我的吧?”女生啊,有时候一个人就可以完成一场恋爱,她们就

私房话

真的,谈恋爱哪有杀老公好看

1019 八卦电影

大雨,深夜,一个男人跌跌撞撞走在街头。他不断摔倒在地上,身上带着血,满身都是泥污。他喃喃自语,见人就说——帮帮我,帮我杀了我妻子吧!不管你要多少钱,我都愿意!旁边的人觉得这就是个疯子,都不予以理会。看到没人理会,这个男人疯狂地大声喊,“救救我!怎么才能杀了我妻子.....”什么样的深仇大恨,让他做出这么变态的选择?《出轨的话就死定了》2020年开头出现的这个

私房话

我的2020年终总结,全在这些表情包里了

1511 每日豆瓣

我的工作我的思绪我的想法收到工资前的我收到工资后的我从前面对傻缺甲方的我现在面对傻缺甲方的我我的副业我的生活我的学习我的考试我的年度计划完成情况我的周末我的运动我的身材我的脸皮我的头发我的运气我的性格我的友情我的爱情我的技能我的心态我的假期从前和别人吵架的我现在和别人吵架的我我的饭量网购前的我网购后的我从前爸妈叫我相亲现在爸妈叫我相亲我向往的生活我真实的生活

私房话

不管夫妻还是情人,关系再好,也不要伸手要这三样东西!

1811 商界管理圈子

阅读本文前,请您先点击本文标题下面的蓝色字体“商界管理圈子”再点击“关注”,这样你就可以继续免费收到文章了,每天早上7:00准时分享,请放心关注.............................................在感情的世界里,伸手要和主动给,完全是两回事。如果一个人真的爱你,无需你开口,对方就会主动给你。倘若你开口提了,伸手要了,意义

私房话

人到中年,遇上灵魂伴侣,是劫不是缘

1451 阅世悦人

来源|精彩女人(ID:jcnv365)文|十七朵呀草在结他的种子,风在摇他的叶子,我们站着,不说话,就很美好。我们来这世上走一遭,如果能遇到一个心意相通,相知相爱的伴侣相守一生,是一件非常幸福的事。关于灵魂伴侣,每个人在单身的时候都曾有过美好的幻想。然而,有太多人误解了灵魂伴侣的真正含义。多少人得陇望蜀,缘木求鱼,到最后也没有好好珍惜已经得到的,却一辈子都对

私房话

“不结婚就死给你看!”30岁女子遭母亲逼婚,生完孩子后她母亲后悔了……丨天亮说早安

1733 湖北经视

朱军今年37岁,妻子刘艳30岁两人在今年年初奉子成婚刘艳怀胎十月剖腹产生下了女儿女儿现在已经三个多月了然而两人从相识到现在一年多的时间真正在一起生活的日子不过两个多月更不正常的是有了婚礼,有了孩子妻子却不愿领证不愿回两人的家妻子刘艳说举行婚礼前恰逢他的生日正好可以领取结婚证成为结婚纪念日可是朱军却提出日子要有父母决定拒绝了刘艳的提议之后又因诸多巧合一直拖到了

私房话

爸,你早就不爱我妈了吧?

1785 青年文摘

点击上方蓝字“青年文摘”右上角“...”点选“设为星标”添加★标不再错过推送每天8点12点20点不见不散~作者:关山月来源:凯叔讲故事ID:kaishujianggushi我一直相信一句话:教育永远是从生活中习得的。最好的教育,是父母相爱;最好的家庭,是不断成长。爸,你早就不爱我妈了吧?如果孩子问你,你怎么回答?当然爱啊,要不然怎么会有你。小孩子懂什么,一边

私房话

够了,别再劝我“降低标准”了。

287 一个人Alone

很多事情凑合一下就行了你都三十岁了要求别那么高学会降低标准才是聪明人的做法......可是降低标准不就等于否定过去的自己吗?够了别再劝我降低标准了我发现,新世纪的“离谱”就是,亲戚给你介绍的对象,别说你不喜欢了,你甚至会产生世纪迷思——“在他们眼里,我真的就只配这样了吗?”比如说,我月薪好几万的朋友,被介绍了一个工作稳定薪资稳定的月入三千的男人,还被说你是打

私房话

晚安 | 感情的最高境界就是守候彼此的孤独

1263 深夜谈吃

晚安|第一千七百六十八夜来自佚名▲长按图片,保存你的晚安音乐选歌:Sake推荐理由:听听歌,早点睡。睡前谈心「感情的最高境界就是守候彼此的孤独」▼这一年就快要过去了这两天在规划着跨年的事情时想起有一年我去迷笛的音乐节一边对深夜的稿子一边摇头晃脑一晃眼时代变得面目全非,我也成长了好多能跟我分享一下你们2020年的感受么最深刻的感悟或者最难忘的记忆都可以说多长都