元宇宙背后的芯片机会

信息来源：半导体行业观察发布日期：2022-01-17 主题标签：VR 元宇宙投资元宇宙硬件元宇宙芯片 AR

从去年下半年开始，元宇宙的概念可谓是科技行业的一个最大热点，各大科技公司均纷纷宣布大力布局元宇宙。目前，普遍认为 AR/VR 将会成为元宇宙的重要入口，因此也成为了各大公司大力投资的领域。AR/VR 硬件领域，Facebook 的 Quest 系列已经成为全球最受欢迎的 VR 设备，而中国的巨头如字节跳动和腾讯在最近也有大的投资，其中字节跳动收购了中国公司中市场占有率最高的 VR 设备厂商 Pico，而腾讯也在最近收购了黑鲨，将专注于 VR 硬件设备。AR 硬件领域，去年下半年雷朋和 Facebook 携手推出了第一款面向大众的智能眼镜 Ray-ban Stories，中国的华为等公司也纷纷推出概念原型机，而随着苹果的高端 AR/VR 设备预计在 2022 或 2023 年发布，预计未来 AR 硬件也将走上快速成长的道路。

AR/VR 硬件的性能对于能够支撑的用户体验极为关键，而其中的芯片也就成为赋能其硬件性能的核心部件。目前，在 AR/VR 市场上，最主要的供货商毫无疑问是高通，其 Snapdragon XR 系列成为了目前几乎所有 VR 设备的选择，而在去年年底的高通投资日上，高通 CEO Cristiano Amon 也着重强调了 AR/VR（XR）市场将成为高通未来最关键的发力方向之一，并且预计目前相关芯片在 2021 年已经出货达到千万数量级。而在今年早些时候，高通也和微软在 CES 2022 上正式发布了在 AR 领域的合作计划，其中微软和高通将共同开发定制化的 Snapdragon 芯片用于 AR 眼镜中，其中将进一步包括对于微软 Mesh 平台和高通 Snapdragon Spaces 这两大 AR 开发平台的支持。

从去年到今年的动态来看，AR/VR 芯片市场正处于高速增长的阶段，而目前高通在这个市场上几乎处于垄断地位。但是，随着该市场规模的进一步增长，一定会有更多的芯片厂商进入该市场。

AR/VR 芯片的技术门槛

AR/VR 芯片的技术门槛决定了有多少芯片公司能进入该市场竞争。我们不妨从 VR 芯片技术开始分析。

首先，从架构上来说，VR 芯片的架构基本和其他智能设备的 SoC 类似，由一个处理器（AP）来运行操作系统并且掌控整体硬件的操作。因此，VR 芯片首先需要拥有一个较强的处理器，但是这一点目前来说并非高不可攀—— ARM 的高性能处理器 IP 的使用和集成已经成为大多数 SoC 厂商的标准操作，因此我们认为 VR 芯片中的处理器并非是一个难以跨越的门槛。

在 VR SoC 的众多 IP 中，最重要的决定用户体验的 IP 就是负责渲染和显示的 GPU。目前，VR 设备的主要应用还是游戏，而几乎所有的 VR 游戏都是 3D 图像（因为 3D 图像能给用户提供最好的沉浸感体验），因此 GPU 的性能就决定了这些 3D 游戏的多边形数量和渲染效果。目前的 VR 游戏的 3D 图像质量大约相当于 10 年前的 PC 和主机游戏，因此随着 VR 游戏市场的扩大和生态的形成，游戏图像质量将会成为主机之间竞争的核心指标，而这也将推动对于 VR 芯片中 GPU 渲染能力的需求。与桌面级 GPU 不同的是，VR 芯片中的 GPU 必须考虑能效比，因为目前主流的 VR 设备都是依靠电池来供电，因此能效比将决定 VR 设备的续航时间，同时也需要保证 VR 设备散热没有问题。

除了游戏图像质量之外，VR 设备中用户体验的一大需求就是分辨率。目前 VR 设备中一个重要的被用户体验问题就是屏幕分辨率不够所产生的 " 纱窗效应 "（即用户看到的图像好像隔了一层纱窗），因此 VR 设备对于 4K 甚至更高分辨率的需求更甚于手机。因此，我们预计在未来几年中 VR 设备的屏幕分辨率也将是各大厂商竞相追逐的目标，这也需要 VR 芯片的 GPU 能有足够的性能来支持高分辨率的屏幕。

在 GPU 之外，VR 芯片中另一个最重要的 IP 当属人工智能加速器。与传统手机中不同，VR 设备中的众多交互都需要人工智能的介入。举例来说，VR 设备一个重要的需求就是设备和用户的定位和追踪，并且把这个信息融合到游戏的虚拟环境中，这就需要使用人工智能中的 SLAM 技术才能高质量地实现。另外，目前 VR 设备中，交互越来越多地使用手部追踪和眼部追踪等先进技术来实现自然的交互，而这些追踪都需要使用人工智能模型，而且随着追踪精度的增加，模型需要的算力也在上升。最后，人工智能也是一个解决 GPU 渲染能力瓶颈的重要技术。屏幕分辨率上升和用户对于图像质量的追求给 GPU 很大的压力，但是事实上用户在同一时间并不会注意到屏幕上所有的像素点，而只会关注他们眼睛聚焦地方附近的像素点。因此，一个技术解决方案就是选择性渲染（foveated rendering），即使用眼部追踪技术结合人工智能模型来判断用户眼睛聚焦的位置并且在相应的地方做高质量渲染，而在用户关注不到的地方则可以降低渲染质量，从而减轻 GPU 的压力。目前，该技术已经使用在了 Sony 的 PSVR2 中，未来可望会用到更多的 VR 设备中。

从上面这些分析中，我们可以看到 VR 设备中的人工智能甚至比起在手机中更重要，因为这些人工智能模型首先是赋能用户体验重要特性的关键，同时也必须实时运行在 VR 设备中，而难以依靠云技术。这些人工智能模型的复杂度决定了 VR 芯片上必须有一个足够强力的人工智能加速器，同时拥有强算力和很好的能效比，才能支持这些应用。

除了 GPU 和人工智能之外，无线连接也是 VR 芯片中较为重要的部分。对于一些高质量游戏，目前的主流做法是让游戏运行在桌面计算机上，同时把图像通过串流（stream）的方式传送给 VR 设备，而这也就需要稳定和高速的 WiFi 连接。

今天来看 VR 芯片的需求和门槛已经较为明确，而相对而言 AR 芯片还处于较早期。与 VR 相比，AR 眼睛无需连续运行大量的图像渲染，但是需要能实现全天候佩戴，而且对于重量有非常严格的需求（例如重量与一般的墨镜相当），这就进一步限制了眼睛上的电池容量，因此对于芯片来说会需要更进一步做低功耗优化。无论从 Magic Leap 还是微软的 Hololens 来看，AR 图像渲染也是 AR 眼镜中一个极其重要的用户体验，因此对 AR 芯片的 GPU 将是一个挑战，即如何平衡渲染能力和功耗。人工智能也是类似，AR 眼镜也需要对用户做 SLAM，并且也需要支持手部追踪这样的交互，因此我们认为 AR 芯片可以认为是更低功耗版的 VR 芯片。

AR/VR 芯片与中国

目前，AR/VR 芯片主要还是高通占绝对的领先地位，但是随着 AR/VR 市场的进一步成熟，我们认为中国的芯片公司有相当的机会。

我们认为，AR/VR 芯片的基本架构与智能手机芯片类似，只是其中的 IP 的性能需求和重要性与智能手机芯片略有不同。例如，蜂窝网络 modem 是智能手机芯片中的绝对核心，同时也是中国芯片行业花了非常久时间才逐渐追上的领域，但是在 AR/VR 中蜂窝无线网络并非必选项；相反，AR/VR 芯片中最关键的 AP、GPU、人工智能加速等 IP 中国的芯片公司都已经有相当多的经验，因此我们认为从设计角度来说，只要中国的芯片公司能够和相关的 AR/VR 设备公司合作来深入理解芯片的具体需求，我们对于中国芯片公司能在未来几年内进入 AR/VR 领域持乐观态度。

另一个角度来看，由于 AR/VR 芯片对于芯片的功耗和能效比有很强的需求，因此先进的半导体工艺将会对于这类高能效比芯片有很大帮助，预计未来几年内都会使用最新的半导体工艺（7nm 及以下）来制造。从这一点上中国的半导体制造还需要进一步追赶才能从 AR/VR 芯片的发展中获得收益，其中不仅仅包括半导体芯片制造工艺，还包括高级封装这类能从另一个维度提高整体系统能效比的核心技术。

特别声明：1、以上内容仅代表原作者观点，不代表吾爱元宇宙观点或立场；2、以上内容（包括下载资源）仅供用户学习使用，如需商用请联系原作者；3、如需转载以上内容请保留原始出处并提供链接通道；4、如以上内容侵犯了原作者的版权、著作权、肖像权等，请联系我们，我们会立即审核并处理。