热门文章
- NEOM旗下数字科技公司推出XVRS – 一...
- OpenXR一统江湖,终结VR/AR标准之争,...
- 深入浅出,解读元宇宙应用与实践
- 元宇宙只是社会的衍生而不是全部
- 老牌黑客:在元宇宙实现人生巅峰的关...
- 英伟达发布“元宇宙”创作工...
- Epic发布虚幻引擎5,或打开游戏的元宇...
- 《解构未来:元宇宙技术实践与应用2023...
- 元宇宙的终极形式,竟然是脑机接口?
- 元宇宙的建设需要哪些硬件?
- 红杉资本:生成式人工智能,一个充满创...
- 解密通往元宇宙的三大入口,VR先...
- 通往工业元宇宙的数字孪生,为何离不...
- 香港大学建立全球首个元宇宙双子校园
- 元宇宙将带来新一轮信息技术革命浪潮
- 立体逼真的城市细节,室外甚至室内的3...
- 2024年面世!谷歌将发布首款AR头显,携...
- 高通骁龙XR2平台,360度全景的视野,让...
- 全球首款AR隐形眼镜问世:是元宇宙窗...
- 元宇宙、Web3.0入侵生活 科技人才投身...
黄仁勋喊你去元宇宙体验自动驾驶和数字孪生
目前元宇宙还达不到让人沉浸在数字世界的能力,但却在各行各业中拥有强大的计算与训练能力,它能让机器学的更快,还能预测未来,数据为王的时代将被颠覆。
今天下午(11月9日),被粉丝们昵称为“老黄”的黄仁勋又一次站在了那个熟悉的厨房召开了GTC大会,虽然这个老黄依然看不清是真是假,但它的背景用动画明明白白的告诉你,一切都是虚拟的。
接近两小时的发布会,全程高能,覆盖多个行业和多项技术,而英伟达对于元宇宙当前阶段的理解,拔高到了各行各业都需要的“平行虚拟世界”。
NVIDIA 首席执行官黄仁勋展示了Project Maxine如何利用Omniverse Avatar平台将计算机视觉、Riva语音AI以及虚拟形象动画和图形连接到一个实时对话的AI机器人——“Toy Jensen Omniverse Avatar”上。
▲根据黄仁勋形象做的数字人,本质是形象化的AI
除了“模拟”一个真实的世界外,英伟达为了帮助开发人员使用Omniverse创建就广泛主题进行对话并理解自然语义的交互式角色,进一步推出了Omniverse Avatar。
除了实时对话AI以外,这项技术也能用于餐厅等场景,虚拟AI角色能够主动“看到”顾客,并与之进行交互。
▲Project Tokkio,这是一个位于自助式餐厅服务亭中的虚拟服务员,登上汽车之后,黄仁勋称它为Maxine
▲可同时讲多门外语的虚拟形象
他还宣布NVIDIA将建立一个数字孪生来模拟和预测气候变化。
该数字孪生名为Earth Two,简称E-2。
人类正从预报一段时间内的天气状况进入可以预测一段时期内气候的变化。
这是一个巨大的飞跃。
地球是否在变暖以及暖到何种程度将有一个清晰的图景展示。
“你会看到一个永恒的主题——Omniverse如何被用来模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车,甚至化身数字孪生,”老黄这么说道。
▲用于训练AI的Omniverse Replicator合成数据生成引擎
用于探索“元宇宙”的Omniverse是英伟达开发的实时仿真和协作平台,“Omniverse与游戏引擎大不相同,其是面向数据中心规模设计的,有朝一日有望能达到全球数据规模。
Omniverse的门户是USD(Universal Scene Description,通用场景描述),本质上是一个数字虫洞。将人和计算机连接到Omniverse,并将一个Omniverse世界连接到另一个世界,USD之于Omniverse就像HTML(网页)之于网站。
▲NVIDIA Modulus通过建立现实世界的孪生世界,在数字世界建模
而Omniverse这项技术则贯穿了整个发布会,根据智驾君的理解,在当前阶段虽然还不能完全复制地球,但在可见的应用场景都可以模拟。
比如真实的道路,随机出现的行人,甚至是信号塔散发的信号覆盖,台风的行程和未来几年的气候预测,它包含了已知的所有物理特性,具有强大的包容性和计算能力与实时渲染能力。
▲NVIDIA Modulus用于构建和训练物理学机器学习模型,这些模型可以学习并充分遵守物理学法则。
而英伟达在元宇宙中的角色现在也定了,就像万物的造物主,成为开天辟地的数字化“盘古”。
在此次GTC上,在描述针对众多领域的愿景,包括加速计算、数据中心架构、AI、机器人、Omniverse Avatars和数字孪生等,它包含了数以万亿美元的增长机会。
而在资本市场,从10月25日Facebook宣布更名Meta以来,英伟达股价累计上涨逾3成,增加的1900亿美元市值已经接近英特尔整个公司的身家。
自动驾驶的数据门槛甚至不需要一台车
现阶段,一家自动驾驶公司如何彰显实力,短短XX个月的时间,我们的自动驾驶实测路段超过XX万公里。
没错,在数据为王的时代,大量的数据就是技术的门槛,而技术的门槛需要资金的门槛作基础。
虽然很少有厂家公布测试车辆的成本,但根据百度宣称的业界成本48万元推算,大多数厂家测试车辆的成本在50万-100之间,这还要额外计算安全员和燃料维修成本。
即使是自动驾驶这样的热门赛道,能进行大规模路测的企业也不过10家。
而英伟达却在今天抛出多项技术,让你可以在虚拟的世界中进行自动驾驶测试,并且在一开始老黄就对智能驾驶汽车做出了定义,这是一个机器人,这样的表述与百度的看法不谋而合。
▲面向通用机器人、用于Isaac Sim的Replicator合成数据生成引擎:Omniverse Replicator
首先NVIDIA开发了两款Replicator合成数据生成引擎:面向通用机器人、用于Isaac Sim的Omniverse Replicator,以及面向自动驾驶汽车、用于DRIVE Sim的Omniverse Replicator。
这个引擎用于训练深度神经网络的合成数据生成,也就是说你的车在虚拟的世界中跑,最终可以出结果。
除了引擎更重要的是软硬件兼备,并且在虚拟世界中可以用的全套解决方案,这也就是整个大会所表达的观点,数字孪生世界的价值。
▲自动驾驶测试和开发平台Hyperion 8
NVIDIA DRIVE是NVIDIA的自动驾驶汽车全栈开放式平台,而Hyperion 8是NVIDIA最新的完整硬件和软件架构。
其传感器套件包括12个摄像头、9个雷达、12个超声波和一个前置激光雷达,所有处理均通过两个NVIDIA Orin 系统级芯片进行。
黄仁勋详细介绍了Hyperion内置的几项新技术,包括用于DRIVE Sim的Omniverse Replicator。
在介绍中,英伟达的虚拟数字世界中加入了自动驾驶高精地图的数字化的供应商DEEPMAP,让整个虚拟世界与真实世界一样,预测同时针对激光雷达和毫米波雷达的采集仿真,英伟达还建立了不同的材质库,让采集的数据与真实的一样。
而测试流程也相当简单,通过NVIDIA AI 训练模型,在Omniverse通过DRIVE Sim进行模拟和合成数据,最后在Orin芯片通过DRIVE AV构建试试机器人工作流,也就是让车辆自主做出决策。
而测试量的进展将取决于算力的支持。
比如,NVIDIA NeMo Megatron,这套商用的计算平台以Megatron项目为基础,Megatron是一个由英伟达研究人员领导的开源项目,旨在大规模研究大型转换器语言模型的高效训练。
该框架使用数据处理库自动处理LLM复杂训练,可以获取、管理、组织和清理数据。它使用先进的数据、张量和管道并行化技术,使大型语言模型的训练能够高效地分布在数千个GPU上。
NVIDIA Triton推理服务器中的多GPU、多节点功能使LLM推理负载可以实时、跨多个GPU和节点进行扩展。
使用Triton推理服务器,Megatron 530B可以在两个NVIDIA DGX系统上运行,将CPU服务器上的处理时间从一分钟多缩短到0.5秒,从而实现在应用程序上快速、实时地部署大型语言模型。
而未来自动驾驶公司如果采取这种方式,无论是效率还是资金都将大幅度提高,数据为王的时代,甚至是数据壁垒都将快速的被替代。
效果如何?
黄仁勋表示,所有移动之物都将实现完全或近乎完全的自主化。
“到2024年,绝大多数新电动车都将具备真正的自动驾驶功能。”
▲世界模型本质是汽车的思维
口说无凭,英伟达还展示了用全球刚刚上市没两年的奔驰S级作为样本,稍加改装之后,在英伟达附近的道路上进行了训练后的自动驾驶的演示。
我们能看到从容的应对并线、人行横道、交叉路口、环岛、立交桥等场景,并且顺便提到了英伟达在数字座舱的建树:Nvidia Drive Concierge 和 Drive Chauffeur。
Nvidia Drive Concierge 是一个AI助理,它结合了语音辅助、驾驶员监控和自动停车技术。
然而,最酷的是它与 Nvidia Drive AV 自动驾驶技术的集成,提供按需代客泊车。
所以,当你说寻找停车位,它会为你自动停车。
Drive Concierge 可以执行从简单到复杂的自然语音命令,比如打电话预订,并且根据每个乘客的声音进行个性化设置,为每个乘客提供自己的虚拟助手。
也就是说凭借强大的软硬件,英伟达自动驾驶、智能网联都可以提供完整的解决方案,而更可怕的是出行行业只是英伟达元宇宙中一个微小的组成部分。
▲英伟达的数字人在上车后称之为Maxine,人车交互正日益情感化
而在会议的最后,苏州做无人小巴轻舟智航宣布将在其Driven-by-QCraft下一代硬件方案中率先使用NVIDIA DRIVE Orin 方案,让L4级自动驾驶的计算平台迈向量产车规级,这也意味着轻舟智航成为首个使用NVIDIA DRIVE Orin方案的L4级自动驾驶通用方案公司。
写在最后
元宇宙终极的构想是缩短时间和空间的隔阂,人活在固定的空间就可以与世界产生联系,在那时,传统的各行各业都将面临巨大的变革,比如影响房价的地理位置将变得不再重要,五颜六色的衣服将变得没有价值,奢侈品牌将变成虚拟收藏品如同NTF,出行的需求将大大减少。
但这一切需要6G的网络建设,消费级好用的VR眼镜,甚至是马斯克正在研发的脑机接口(在你耳朵后面做一个类似USB的接口,输出你的想法),乐观估计还有10年。
而在此之前,行业需要循序渐渐的发展,不可能一撮而就,而英伟达今天告诉我们一个重要的事情,元宇宙在当下已经极为可用,并且可以展开大规模的商业化运作。
元宇宙神评
相关主题
-
逐浪AIGC⑭|黄仁勋对话OpenAI创始人 现代AI和ChatGPT如何诞生
内容概要:它还是那个神经网络,只是变得更强大。
-
逐浪AIGC⑬丨英伟达新GPU“炸场”,未来人人都可以是程序员?
内容概要:AIGC算力成本有望大降?
-
百度首个元宇宙"希壤"选定英伟达为合作伙伴 双方共建“AI元宇宙”
-
逐浪AIGC⑮ | AI伦理之惑:马斯克等科技大佬为何拦停GPT-5
内容概要:如今,我们的社会已经暂停其他可能造成灾难性影响的技术,对于人工智能也应该如此,“让我们享受一个漫长的‘AI之夏’,而不是毫无准备地进入秋天”。
-
英伟达元宇宙获得新硬件支持
内容概要:英伟达负责专业可视化的副总裁Bob Pette在本周举行的年度GTC(GPU技术大会)前的新闻发布会上表示,这家芯片制造商推出了一款名为OVX 3的新服务器,旨在创建和操作元宇宙。
-
逐浪AIGC⑫|制造“iPhone时刻”,英伟达再塑AI算力上限
-
逐浪AIGC⑩丨AI热潮下的惊喜、失落与期待
内容概要:国内AI生态的构建同样值得期待。
-
逐浪AIGC⑥丨文心一言开放测试 百度股价逆风翻盘
内容概要:AI大模型时代降临,本土大厂机会来了。
-
逐浪AIGC⑧丨GPT-4诞生次日,微软Office重生
内容概要:这其实是一场产业叠加的爆发。
-
逐浪AIGC⑤丨大模型狂飙
-
逐浪AIGC③丨国产版ChatGPT打响“第一枪”:文心一言终亮相
内容概要:先上桌,才能进入快速迭代的飞轮。
-
逐浪AIGC②丨别只盯着ChatGPT了,这波AI浪潮远不止于此
内容概要:AI 2.0是绝对不能错过的一次革命。
-
逐浪AIGC①丨OpenAI正式发布GPT-4 向超级AI进发?
-
《AIGC行业深度报告(3)-ChatGPT打响AI算力“军备战”》(附PDF下载)
内容概要:与通用服务器相比,AI服务器拥有更出色的高性能计算能力,未来,随着算力的持续增长,自然语言处理和图像、视频等AI模型的深入发展,AI服务器将被更广泛使用。
-
元宇宙真正狠角色!英伟达密集亮剑,开放造虚拟人秘籍
-
打造元宇宙:数字孪生的科学应用
内容概要:英伟达的人工智能科学数字孪生框架,使研究人员能够寻求这些大规模问题的解决方案。虽然地球2号还没有完全到来,我们也能够通过这些实际应用的真实结果一窥元宇宙真正的价值吧。
-
《元宇宙专题:从英伟达Omniverse平台看元宇宙》(附PDF下载)
内容概要:NVIDIA Omniverse 是一个易于扩展的开放式平台,专为虚拟协作和物理级准确的实时模拟打造, 并由 NVIDIA RTX 技术提供动力支持的实时协作。
-
《AIGC行业深度报告(7)-ChatGPT:三大主线,AI算力需求井喷!》(附PDF下载)
内容概要:政策端与产业端持续发力,算力建设持续提速;大模型引爆海量算力需求,AI产业量价齐升;全球算力市场持续火热,AI芯片群星闪耀。
-
《兴业证券-AIGC全方位解析与展望》(附PDF下载)
内容概要:Gartner 预计,2022 年 AIGC 占全球数字数据量为1%,到 2025 年,这一比例将提升至10%。
-
《增长黑盒&黑盒点评-2023中国AIGC应用研究报告》(附PDF下载)
-
图解网信办《生成式人工智能服务管理办法(征求意见稿)》V1.0.0(附PDF下载)
内容概要:2023年4月11日,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》,面向社会公开征求意见,旨在促进生成式人工智能技术健康发展和规范应用。
-
逐浪AIGC⑱丨迈入混战时代:科技公司竞速AI大模型
内容概要:目前AI大模型处于百花齐放的状态。
-
逐浪AIGC⑰丨AI迈入群雄逐鹿时代 阿里巴巴全方位迎战
内容概要:张勇的新开始,也是阿里云的新征程。
-
【元宇宙之约】第019期:AIGC能快速构建元宇宙行业的基础设施
内容概要:在雷涛看来,大模型只是解决基础能力,真正到每一个领域应用还是需要去做自己的数据训练;基础模型需要真正去理解用户,因为用户的问题是千差万别,答案也会千差万别。
-
逐浪AIGC⑯|Meta入局来势汹涌 “生成式AI”引发技术争鸣
-
逐浪AIGC⑪|半百微软,扎进AI变局
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
《2023年AIGC应用与实践展望报告-甲子光年》(附PDF下载)
内容概要:甲子光年智库特此展开AIGC应用与实践研究,输出《AIGC应用与实践研究报告》,期待与各方共同见证AIGC行业的星辰大海。
-
《AIGC行业深度报告(6)-ChatGPT:存算一体,算力的下一极》(附PDF下载)
内容概要:ChatGPT开启大模型“军备赛”,算力呈现明显缺口。存算一体,后摩尔时代的必然发展,存算一体为人工智能发展的必然选择。
-
AI+元宇宙!Meta离梦想更进一步?
-
【元宇宙之约】第018期:AIGC将为元宇宙解决两个技术难题
-
平台押注资本追捧 视听产业成元宇宙场景应用第一战场
内容概要:报告显示,元宇宙是一个需要长期才能实现的目标,在实现元宇宙的旅程之中会不断地出现像AIGC这样的爆点。有了AIGC支持后,人类至少一只脚已经开始在往真正的元宇宙时代迈进。
-
放弃元宇宙,转型AI?Meta:不,两个我都要
-
《中国人工智能产业研究报告(Ⅴ):道阻且长,行而不辍》(附PDF下载)
内容概要:AI成为企业数字化、智能化改革的重要抓手,也是各行业领军企业打造营收护城河的重要方向。落地AI应用对企业业务运营的商业价值与战略意义越来越明确。
-
加速元宇宙创新生态,阿里云和伙伴一起探寻奇点
-
《AIGC行业深度报告(5)-ChatGPT:加速计算服务器时代到来》(附PDF下载)
内容概要:ChatGPT的竞争本质即大模型储备竞赛,大模型出现带动AI服务器呈现加速状态,服务器架构随负载量扩张而不断优化,数字经济时代,服务器应用前景广阔。
-
中国 AIGC 与元宇宙创新创业创作大赛即将启动
内容概要:在实现元宇宙的过程中,会不断出现像AIGC这样的爆点,而我们将通过大赛的方式去追踪,用大赛去覆盖元宇宙成长过程中的每一个关键技术突破。