插帧火了!英伟达们用干游戏,还要什么高性能显卡?
在过去半个世纪里,电子游戏一直是推动计算机技术变革的关键力量。从雅达利的第一代游戏机到持续几个世代的主机大战,从NVIDIA(英伟达)的显卡到手机芯片里的GPU,实质上都离不开游戏的推动作用。反过来,游戏的发展也离不开计算机技术。
过去几年,不管是在PC还是手机上,游戏性能的提升除了得益于GPU的持续改进,在另一方面也得益于超分、插帧技术的快速进步。稍早前,AMD就又推出了新一代帧生成(俗称「插帧」)技术——AFMF2的技术预览,引起了玩家群体的广泛关注。
AMDAFMF2也来了:游戏体验进入新一轮「插帧」赛AFMF的全称是AMDFluidMotionFrames,第一代AFMF实际上今年1月才面向所有用户正式推出,结果仅仅半年后,又火速推出了新一代AFMF2的技术预览。
AFMF2技术预览推出,图/雷科技
相比第一代,AFMF2的重点是大幅降低延迟、优化流畅度、提升性能,其中还针对快速运动进行了优化,此外还有更广泛的游戏兼容性以及更多的设置和玩法。AMD官方也表态衬,AFMF2是一次帧生成技术的重大进步。
数毛社(DigitalFoundry)的成员在体验过AFMF2技术预览版后,总体上也是肯定了AMD带来的游戏性能提升,尽管在《赛博朋克2077》的部分建筑场景下会出现明显的伪影。
理论上,配合AMDFSR3的超分技术,AFMF2还能带来更好的游戏性能和画质表现。
而不仅是AMD,其他各家厂商也都已经推出或者计划推出各自的插帧技术,同时推动技术的迭代和普及。在主要的几家大厂中,最早喊出AI驱动图形革命的NVIDIA,旗下DLSS(包含超分、插帧技术)已经发展到了3.5版本;高通基于骁龙平台的AFME超帧技术,2.0版本也开始有了游戏进行适配。
腾讯游戏《塔瑞斯世界》适配高通AFME2.0,图/雷科技
此外,英特尔XeSS也在计划推出自己帧生成技术,英特尔图形研究副总裁AntonKaplanyan去年介绍了名为ExtraSS的解决方案,其中就包含了插帧技术。不过联发科就有些耐人寻味,虽然最早尝试将超分技术引入手机游戏场景,但在插帧技术上还停留在视频上。
事实上,当我们回顾插帧技术在游戏领域的发展历史,其实可以追溯到早期的线性插值技术,通过简单的算法在两个关键帧之间生成过渡帧,较早就被应用在视频领域。而随着算力的提升和算法的进步,插帧技术逐渐演变为更为复杂和智能的系统,也终于能够应用在可以互动的游戏上。
尤其是这几年,以NVIDIA的DLSS技术为代表的超分和插帧技术,经历了多次的迭代,从最初的DLSS1.0到现在的DLSS3.5,从靠AI「脑补」像素到基于AI算法的渲染,并且还引入了帧生成技术。
不过,尽管AI插帧技术带来了诸多优势,但在游戏领域的应用仍然面临一些挑战和问题。比如对于快速变化的场景,AI可能会生成不准确的帧,导致画面伪影和模糊。此外,不同厂商的实现方式和技术路径差异较大,也给很多用户在选择时带来了疑问和困惑。
都是插帧,大家有什么区别?虽然各大厂商的插帧技术都能够实现「插帧」这一基本功能,插帧火了!英伟达们用干游戏,还要什么高性能显卡?但它们在实现方式和效果上却存在显著差异。
我们都知道,视频本质上是由一张张照片组成的,比如电影主流格式是24帧每秒,意味着1秒有24张照片。具体到游戏,插帧技术的核心就是在原始帧(图形渲染)之间通过AI生成新的帧,以此提升游戏的帧率和流畅度。
但如何生成新的帧以及如何处理,都会影响到实际游戏体验中插帧技术的延迟和画面效果。不同厂商在实现这一功能时采用的不同方法和路径,会直接导致效果不同,受到玩家群体的评价也不同。
NVIDIADLSS3:真正的AI驱动「DLSS是AI驱动图形领域的革命性突破」,图/英伟达
比如NVIDIA的DLSS(DeepLearningSuperSampling,深度学习超采样),从3.0开始引入基于运动向量和运动检测的帧生成技术,通过深度学习和AI算法生成新帧,从而提升游戏的帧率和图像质量。
和其他算法通过分析图像变化和猜测运动相比,DLSS的帧生成准确率更高,帧生成效果也更好,在对原始帧渲染影响不大的前提下插到2倍甚至更高。
数毛社(DigitalFoundry)的测试就表明,在RTX4090这张卡上,《漫威蜘蛛侠》4K画质在开启DLSS3的性能表现甚至可以到关闭DLSS的203.6%,并且可以将画面劣化程度控制在基本无法感知的范畴内。
图/数毛社
不过需要指出,基于运动向量和运动检测的另一方面,是DLSS帧生成的实现依赖于TensorCore(AI计算单元)和运动向量数据,通过获取帧间的运动信息,并生成高质量的中间帧。所以具体到实际中,DLSS帧生成既依赖于集成TensorCore的英伟达显卡,也依赖于游戏的适配和支持。
好在,凭借在游戏显卡市场的领先地位和长久的合作关系,英伟达对于游戏厂商的影响力不可小觑,很多3A大作也都适配了DLSS3中的帧生成技术。
AMDAFMF2:迈向AI驱动前,大幅改进延迟相比之下,AMD最新推出的AFMF2不需要游戏的主动适配就能用,支持所有DX11和DX12游戏;还支持AMDRDNA2架构的所有产品,包括AMDRadeonRX6000和7000系列GPU或更新产品,以及基于700M的APU。
简言之,AMDAFMF2在硬件和游戏层面都有更强的兼容性。核心在于,AFMF2并不基于运动向量,也不同于NVIDIADLSS依赖AI计算单元的硬件加速。
虽然在帧生成质量上距离DLSS3可能还有一定的差距,但在延迟上,AMD宣称AFMF2在《赛博朋克2077》(4K、最高档光线追踪)中,AFMF2比起上一代AFMF降低了28%的延迟。
图/AMD
在配备AMDRyzen78700G处理器以及Radeon780M集成显卡的电脑里运行《CS2》,可以在1080p解析度、画质非常高的设置下实现120fps以上的显示帧率,同时还有12%的延迟降低。
另外在设置上,AFMF2还有「Search」和「Performance」两种模式,前者是最大力度提升画质和帧率,后者则是尽可能降低功耗来保证游戏流畅运行。
不过按照AMD首席技术官MarkPapermaster的说法,「(AMD)正在利用AI来升级我们的游戏设备。」再加之,RDNA3开始AMD终于加入了AI计算单元,似乎一切都在暗示:下一代FSR(包括AFMF)将真正基于AI进行设计和运行。
高通AFME2.0:解放手机功耗的「利器」高通的AFME,全称是Adreno图像运动引擎(AdrenoFrameMotionEngine),最早在2021年引入,到去年骁龙峰会终于升级到了2.0。而与手机上常见的其他游戏插帧方案不同,AFME2.0不需要外挂芯片,也不需要CPU,仅仅依赖GPU进行计算。
在7月举办的骁龙游戏技术赏上,腾讯游戏的《塔瑞斯世界》就宣布引入了AFME2.0技术,由于不调用CPU,帧数实际表现更加稳定。
《塔瑞斯世界》引入AFME后,图/雷科技
相比PC上插帧技术的重点是提高游戏画面和帧率,插帧在移动端的应用,更大的意义其实还是在降低负载、降低功耗。
按照腾讯游戏国内发行线生态发展部引擎组负责人胡豪翔给出的数据,AFME2.0在能耗上相较原生60帧方案降低大约30%,画面更加流畅的同时,画质没有任何损失。
同时,一加也在利用骁龙平台实现更强的游戏性能,通过将帧生成与计算的整个过程放在高通芯片上完成,让生成帧与游戏渲染帧之间,只间隔一个120Hz的垂直同步周期。
AI插帧,真正的游戏改变者游戏与GPU的相互成就,早就不言而喻:
伴随游戏画质和复杂度的提升,GPU的图形渲染性能需要不断提升,才能满足玩家对高帧率、高分辨率和逼真画面的追求。而为了支持最新的游戏大作,GPU厂商不断提升计算能力和优化图像处理技术,也会推动游戏画质和复杂度的提升,从而提升玩家的沉浸感和互动体验。
不过肉眼可见的是,GPU图形渲染性能的提升在一定程度上陷入了瓶颈,而基于AI的插帧技术,则为游戏和GPU的发展带来了新的契机。
在传统的图像处理中,需要在每一帧中进行复杂的图形渲染,占据大量算力。而AI插帧技术则通过生成新的中间帧,减少了每帧所需的计算量,从而显著提升了帧率和流畅度。
以NVIDIA的DLSS3.5为例,该技术通过AI算法和光流加速器,能够在不牺牲图像质量的前提下,显著提高游戏的帧率。这不仅提升了玩家的游戏体验,也减少了对GPU的负担,使得中低端显卡也能够运行高要求的游戏。
插帧技术的影响是多方面的。在它的影响下,游戏开发商能够在保持高帧率的同时,提升游戏的画质和细节,从而吸引更多玩家。
此外,以DLSS3为代表的AI插帧,还有望降低开发成本和时间,因为开发商不再需要为每个场景和动作单独优化图像处理算法。AI插帧的普及使得游戏市场更加多元化,独立开发者和小型工作室也更容易利用这一技术,制作出高质量的游戏作品,增加了市场竞争力和创意空间。
另一方面,传统的GPU设计主要关注于提升计算能力和图像渲染性能,而AI插帧技术的引入则要求GPU具备更强的AI计算能力。
图/英伟达
为此,GPU厂商开始在其产品中集成更多的AI处理单元,以支持AI插帧和其他AI驱动的图像处理技术。NVIDIA的RTX40系列显卡中就颇具争议地集成了更多的TensorCores,专门用于AI计算和深度学习任务。包括AMD,也开始引入AI计算单元。
同时,AI技术的快速发展,也必然带动AI插帧的进步与普及。
按照目前的趋势来看,软件和硬件都在越来越倾向于AI加速计算,在根本上改变各种硬件的计算环境。而相比图形渲染,AI驱动带来的游戏性能提升,不仅效益更高,还有更大的提升空间。
2024上半年,科技圈风起云涌。
大模型加速落地,AI手机、AIPC、AI家电、AI搜索、AI电商……AI应用层出不穷;
VisionPro开售并登陆中国市场,再掀XR空间计算浪潮;
HarmonyOSNEXT正式发布,移动OS生态生变;
汽车全面进入“下半场”,智能化成头等大事;
电商竞争日益剧烈,卷低价更卷服务;
出海浪潮风起云涌,中国品牌迈上全球化征程;
……
7月流火,雷科技·年中回顾专题上线,总结科技产业2024上半年值得记录的品牌、技术和产品,记录过去、展望未来,敬请关注。