2024年面世!谷歌将发布首款AR头显,携裸眼3D「魔镜」布局元宇宙

信息来源:新智元 发布日期:2022-02-05 主题标签:AR谷歌裸眼3D魔镜

【新智元导读】进军元宇宙,谷歌也不甘落后。近日,谷歌被爆出其秘密研发的AR眼镜,代号Project Iris,预计2024年面世。

进军元宇宙,谷歌也不甘落后。

据两位知情人士透露,谷歌最近开始加紧研发AR眼镜,内部代号为Project Iris,希望在2024 年上市。

2024推出,代号Iris

预计2024年发布的这款AR眼镜将采用谷歌最新处理器,全自研的Tensor芯片,而且还支持在安卓系统上运行。

不过,未来应该会使用一个全新的操作系统。

前段时间谷歌的招聘信息显示,谷歌正在招聘招聘一支「AR操作系统」团队,专注于为「创新的AR设备」构建软件。

与苹果即将推出的头显一样,谷歌的AR设备使用外向摄像头将计算图形与现实世界融合,创造出比Snap和Magic Leap等现有AR眼镜更身临其境的混合现实体验。

由于电量的限制,谷歌会使用其数据中心去远程渲染一些图形,并通过互联网连接将它们传送到AR眼镜中。

知情人士表示,在这次眼镜研发过程中,Pixel团队也参与了硬件设计的一部分。

但具体未来会以 Pixel去命名AR眼镜还是未知的,因为Project Iris在谷歌内部是一个严格保密的项目。

「鸽了」10年的AR眼镜

Project Iris项目,可以说,是谷歌AR眼镜研发的一个转折点。

其实早在2012年,谷歌就发布了AR眼镜的原型机,类似于一副滑雪护目镜,而且不需要与外部电源连接。

随着一波硬件和软件的升级,2014年成功登陆美国市场,售价1500美元。然而,在2015年却因为各种负面新闻被迫下架。

2017年,谷歌决定将AR眼镜的应用转向工业。

同年,苹果发布了用于为手机构建AR体验的ARKit,这直接打了谷歌一个措手不及。

这场争夺战,以及谷歌随后搁置的许多虚拟现实项目,让它的AR和VR团队成员对其方向的转变感到士气低落。

尽管急于追赶,但谷歌在打造新形式的AR硬件方面似乎落后于同行。

此后,谷歌在AR眼镜的硬件研发上明显保持沉默,并且选择专注于研发Google Lens、视觉搜索引擎和谷歌地图中的AR方向相关的软件功能。

除了早期那款AR眼镜原型,谷歌对AR表现出的兴趣还可以追溯到对Magic Leap的早期投资。

2019年的一次采访中,Clay Bavor表示,「我将我们所处的阶段描述为深度研发,专注于在闭门造车的关键上」。

紧接着,一年后,谷歌收购了初创公司North,其第一副智能眼镜为Focals。

但是当前就不同了,因为「元宇宙」是当下不可回避也不能忽视的话题。

2021年,是元宇宙奇点爆发的元年。先是3月Robolox上市,开启了「元宇宙」第一股。后是10月,扎克伯格直接把Facebook名字都改成了Meta,全力奔向元宇宙。

紧接着,微软、英伟达、苹果、Unity等科技公司也纷纷在元宇宙领域进行布局。

现在看来,在去年元宇宙奇点第一年中,谷歌还没有在元宇宙布局上正式发声。

皮查伊密友带队研发

据透露,负责未来AR眼镜的核心研发团队大约有300人,谷歌计划再招聘数百人。

其中,这一项目leader是Clay Bavor,工作将向CEO皮查伊汇报。

2021谷歌I/O大会上曾公布了一个超高分辨率视频聊天室Project Starline项目,它便是由Clay Bavor负责的。

Bavor多年来一直负责谷歌内部与VR和AR相关的工作,他还是皮查伊的密友。

2021年11月,Bavor正式回归,被任命为谷歌实验室副总,负责包括Starline项目、Iris和谷歌内部产品孵化器Area 120。

从事Iris项目的其他一些成员包括:

Shahram Izadi:高级工程总监,同时负责谷歌的ARCore软件工具包

Eddie Chung:产品管理高级总监,曾负责Google Lens产品

Scott Huffman:谷歌智能助理的副总裁

Mark Lucovsky:谷歌AR操作系统高级总监

Kurt Akeley:工程师,也是光场相机初创公司Lytro的前首席技术官

此外,据报道,谷歌最近还在加拿大招聘与光波导相关的人才。

去年10月,皮查伊在财报电话会议上表示,谷歌正在考虑AR,它将成为我们的主要投资领域。

但目前尚不清楚谷歌是否计划像 Meta 那样大举投资,而Meta已经在这一领域投入百亿美元。

「元宇宙」双彩蛋:Starline

谷歌希望在2024年之前与Iris一起发布Starline。

这或许是谷歌在元宇宙中布局的两颗棋子。

用惯了skype或者zoom等传统视频聊天技术的人,第一次使用starline会感到大为震惊。

传统的视频通话技术无法克服感官上的距离感。和你聊天的ta以2D平面的形式展现在你面前。接收到的声音也明显是从使用的设备——手机、平板或是电脑中传出来。

必须承认这些技术手段给相隔两地的人们提供了“面对面”交流的机会。但是,有没有可能彻底消除这种距离感?谷歌认真思考了这个问题,并且成功了。

谷歌耗时五年,研发出这么一款黑科技——Starline3D视频通话技术。

不得不说,谷歌在这个项目上下了大手笔。Starline3D视频通话技术概括来说有两大特点。一个是真实,另一个是不需要佩戴任何设备。

一个65寸的光场显示屏,外加预先布置的十几个传感器和摄像头,就构成了这样一个聊天室。

这些摄像头和传感器的作用可不是拍下聊天者的外貌,显示在对方的显示屏上。每一个摄像头和传感器的作用,是通过不同角度捕捉人像,利用深度学习进行实时压缩,把这些数据传输到对面,在显示屏上重建成3D影像播放。

这意味着,这是对人像的「重建」。实时重建人物影像就可以让彼此的感受变得无与伦比的真实。好像和自己聊天的人真真切切地坐在自己对面一样。

采集到的数据的传输与普通的视频会议一样基于WebRTC,而谷歌独特的压缩算法使得双向实时传输3D影像成为可能。

另一大特点是不需要佩戴任何设备。传统的VR头显,智能眼镜完全不需要。甚至,根据谷歌发布的概念图,上述的摄像头和传感器都放在一张桌子内部。

稍加装饰,你甚至会以为这就是你的书桌,而和你聊天的人就坐在书桌对面。

根据谷歌给出的技术图,这一套设备包括:一个包含显示器、摄像头、扬声器、麦克风、照明器和计算机的显示单元,和包含红外背光并用作 bench seat 的背光单元。两个单元都包含向墙壁和天花板倾斜的白色 LED 灯条,用于产生柔和的反射照明。

而捕获子系统由三个同步立体的 RGBD 捕获 pod 组成:两个在显示器上方,一个在显示器下方的「中墙」(middle wall)中。

更下方的 pod 包括一个额外的彩色相机,用于放大拍摄对象的脸部。另外,四个单色追踪摄像头中的两个在显示器上方,其余两个一侧一个,用于捕捉眼睛、耳朵和嘴巴的高速广角图像。

渲染的方式如下图所示。

而pod就是上述提到的RGBD捕获装置。

这样渲染出的人物影响,更加逼真,栩栩如生。

最后不得不提一下Starline的声音系统。

这套系统使用了talker-tracked 波束成形、混响消减、WebRTC 传输、talker/listener-tracked 虚拟音频合成、双耳串扰消除分频组合以及振幅平移等技术。目的都是为了让声音听起来就像是和你面对面的人在说话。

值得一提的是,谷歌工程师表示,这套设备在标准办公网络环境下就可以运行。看来Starline技术被广泛推广应该不是不可能的事。虽然造价看起来十分昂贵,但是谷歌并未披露有关其价格的更多细节。

想象一下未来的某一天,每家每户都能拥有一套Starline通话设备,家人亲朋都可以随时随地面对面交流。你期待吗?