导读:





NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2024 主题演讲上表示:下一波 AI 浪潮将是 AI 对物理世界的学习。


当下,全球范围内价值超过50万亿美金的行业正在竞相实现数字化,数字孪生技术正在赋能千行百业。NVIDIA Omniverse 中国区业务负责人何展表示,AI 正在进入物理世界。每一栋建筑、每一个仓库、每一个工厂,都将实现 AI 化,并持续优化。新一代的数字孪生更需要使用数字化的技术、模拟世界的技术,来训练和测试 AI。


生成式 AI 有望彻底改变它所触及的每一个行业,掌握技术是迎接挑战的关键。而我们想要的 AI 一定是值得信赖的、高性能的,这样级别的 AI,需要在一个遵守物理定律的数字孪生世界中进行模拟、验证和仿真。


来听 NVIDIA 英伟达的专家们聊聊,如何将物理世界模拟和 AI 融合在一起。



01

NVIDIA 的“三大灵魂”





今年的 GTC 主题演讲上,黄仁勋说:“计算机图形学、物理学引擎模拟仿真和 AI 是 NVIDIA 的灵魂所在。”


1、计算机图形学


众所周知,NVIDIA 是靠图形学起家的。何展表示,不夸张地说,几乎每一位 NVIDIA 的员工都以此为傲。利用 NVIDIA 的底层技术,开发者们可以将现实世界中每一个真实存在物品,都极度逼真地渲染及模拟出来。


2、 物理世界模拟技术


有了可以以假乱真的计算机图形学技术,做出了好的数字资产,要真正赋能到应用,还缺一个要素——物理世界模拟技术。


来看两个例子,一个是从宏观的世界去模拟,一个是在极其微小的粒子世界里做模拟技术,以赋能应用。


通过 Omniverse 渲染引擎模拟粒子爆炸的实际情况,运用大量的计算去模拟真实的粒子分析,并且加速了很多倍,以呈现真实的效果。



微观世界分子结构异常复杂的设计也需要模拟,且物理准确模拟非常重要。一个简单的例子,如果模拟精准度不够真实,那么我们今天的靶向药物治疗等方式,就都是无效的。


3、 AI 技术


过去几年,AI 技术的变革颠覆了众多行业。有了 AI 的加持,Omniverse 也带来了全新的功能和体验。



怎样通过 AI 技术快速构建一座数字孪生工厂?首先用 2D 的 PDF 图纸,通过文字描述生成 3D 结构,用到的工具是 NVIDIA 的 DeepSearch,可以通过深度学习的方式检索出你想要的模型资产,并放置在数字孪生环境中。接着调用SA软件 BlenderGPT,通过文字生成工厂系统。再用 Adobe 通过文字生成大理石地面。然后通过其他软件生成 GIS 数据,最终一个数字孪生工厂的 Demo 便完成了。


这一过程较传统设计有了巨大的变化,无需操作其他软件,只需通过文字和 Omniverse 便完成了这样一个复杂的数字孪生制作过程。过去,如此复杂、专业的设计需要科班出身的设计师以及在工厂的实践经验才能完成。现在,NVIDIA 提供的技术和平台可以让每个用户,只需输入文字、会使用 Omniverse 的平台软件,就可以完成。


这就是 AI 和 Omniverse 结合之后实现的全新设计流程。



以上,NVIDIA 的三大灵魂,融合起来就是 Omniverse 。数据显示,Omniverse 由超过300万行的代码编写而成,在全球范围内已经集成和整合了超过240款工具软件。如今,Omniverse 的数字孪生几乎无处不在,涵盖汽车、制造、媒体、建筑、能源、科学运算仿真等等各行各业。



02

融合三大灵魂的 Omniverse 

能做什么?



“三大灵魂”全部融合在一起,能做什么?



全球气候模型 Earth-2,需要进行 3D 交互式的天气和季候数据的数字孪生模型,不仅要训练大量的数据,还要把它们数字化。在这个模型中,我们可以看气象的走向、大气河的流动,还能看到飓风,并且精确到1公里范围内,以帮助人类预测它的准确路径。充分应用了图形学、物理世界模拟仿真,以及 AI。



能否用“三大灵魂”分析更多事呢?如何把这些技术融入到真实的企业应用环境中至关重要。


比如,用 AMR 小车(自主移动机器人)眼中的数字孪生,同时还制作了大量“场站”数字孪生,以及工作人员视角下的数字孪生,这么多的数字孪生,通过 USD API,连接到 Omniverse Cloud 上,整合背后超强的算力,不断优化布局,来响应突发事件的管理,以及和 LLM 一系列的交互。



每一个场站的布局背后都有很多的数字孪生模型,就像有一只无形的手在操作,这个手就是 AI Agents,辅助这个标点符号里每一个场站 ARM 小车最优的路径,这就是物理世界和数字世界交互的一个非常生动的例子。



给一辆小车布一个最优路径尝试一下,再给它一个突发事件,看它如何实时调整路径。假设这边货架突然倒塌,它能否及时调整路径?可以看到,ARM 小车不但重新规划了自己的路径,路过时还对 AI Agents 说:“我感觉出现问题了,你赶紧去处理。”这个过程背后技术的复杂程度其实是非常高的,同时需要数字孪生模型、AI 和算力。


而随着各行业竞相将自己重塑为软件驱动的科技公司,每个领域的生成式 AI 也都如雨后春笋般兴起,3D 数据正在实现互操作性,高级图形学以及从边缘到云的仿真计算能力的进步,都为各行业的物理流程数字化带来了全新机遇。



03

仿真工作流 加速 AI 训练



今年 GTC 上,Omniverse 带来的最大更新便是 Omniverse Cloud API,把 Omniverse 放到云端,提供一个应用程序编程接口 API,让开发人员可以将 Omniverse 最核心的技术直接集成到已有的应用层和工作流中。


Omniverse 不仅可以帮助全球工业企业加速自动驾驶车辆、人形机器人、智能仓储、大规模智慧城市等工作流程,Omniverse Cloud API,更将为基于 AI 的数字孪生仿真工作流的训练、模拟,以及后阶段的部署带来全新加速。


随着全球自动驾驶汽车和机器人需求的不断增加,AI 开发人员可能需要更多的传感器数据来进行训练、测试、验证这些 AI 的感知系统,而这些感知系统可以通过传感器模拟方式去实现一个合成数据的 1:1 数字孪生世界,在 Omniverse 构架的虚拟世界里进行训练、测试、仿真、验证等。这些合成数据都需要物理上非常精确的、符合物理定律的渲染。



AI 是如何在虚拟世界中进行训练的?


AI 和仿真最重要的是软件在环(SIL)和硬件在环(HIL)。将所有机器人、自动驾驶汽车、自主移动设备、传感器全部仿真放在 Omniverse 里,环境、场景都是实时渲染出来的,以实时喂料的方式喂给机器人的传感器,传感器看到的数据是假的,传感器本身也是虚拟出来的,汽车传感器看到的画面也是合成数据。把虚拟传感器捕捉到的数据,和汽车传感器得到的数据融合在一起,放在数字孪生里渲染,称之为 SIL。将 SIL 里训练好的模型,部署到硬件设备上,再做物理的路测或环境测试,叫做 HIL。做强化学习的时候,要确保学习环境是真实有效的,训练好的模型也是真实有效的,最后再到物理世界去部署。



最终,机器人系统、AI 和 Omniverse 形成了技术闭环。



04

Omniverse 登录 Apple Vision Pro



全球最受瞩目的两家科技巨头携手,NVIDIA 与 Apple 一起,把 Omniverse 带到了 Apple Vision Pro 中去,将许多 3D 工作流尤其是工业环境下的数字孪生的工作流游戏化,打破了传统的工业工作流程。



Omniverse 里的 GPU 是顶尖的 RTX GPU,三大核心点:

1.传统着色的部分,可以用来做像素的渲染,确保画面是美轮美奂的;

2.光线追踪加速,用包裹体便利的方式去做实时光线追踪,延迟更低,帧率更高,与用户的互动性也更强;

3. Tensor,RTX GPU 里有针对张量运算的 tensor 运算,还可以加速 AI 的训练,如大模型、GenA、neural graphics、NeRF 等,都可以用 AI 去运算。


在云端 Omniverse API 连接各种应用程序,基于 USD 或 OpenUSD 打通数字资产之间的连接和调用,再通过 RTX GPU 强大的算力和符合物理定律的实时光线追踪完成画面渲染,最后呈现在 Apple Vision Pro 用户眼前的就是真实的 3D 空间场景。



Omniverse 强大的空间计算带来的全新工作流,使得设计师可以在 Apple Vision Pro 里实现沉浸式体验,以及人、产品、流程与物理空间之间的无缝互动。在 MR 里设计出的虚拟产品将与物理世界中的实际产品一模一样,所见即所得,想想都令人兴奋。



结语:


波士顿咨询公司(BCG)对企业最高管理层的调查显示,近四分之三的管理者计划在今年增加公司的技术投资,89% 的管理者将 AI 和生成式 AI 列为前三大优先事项中。超半数的企业希望利用 AI 提高生产力、改善客户服务和提升 IT 效率,以实现降本增效。


“AI 已经进入了物理世界。未来将是可生成的。”








END

图 | NVIDIA官网