网站首页
关于我们
华体体育在线登录
产品展示
新闻资讯
联系我们
网站地图
电话咨询
固话:400-025-3599
手机:13905180520
返回顶部
民生证券:英伟达大会前瞻——Omniverse、具身智能与机器人
发布时间:2024-03-22 10:23 |   作者: 华体体育在线登录

  ①经过多年发展,当前Omniverse平台在通用数据格式和五大功能模块为基础的系统生态已经长足进步,成为的基石;②在AI和数据科学领域,开发者还可以利用Omniverse模拟地球上未来会发生什么。

  英伟达Omniverse本质是专为实时协作和仿真模拟打造的一站式工具集成平台。据产品介绍、e-works,Omniverse的前身来源于NVIDIA Holodeck(VR协同设计平台),后续在客户创建数字孪生的过程中,越来越意识到这是一个融合多技术、多学科的复杂工程,小到一个零件,大到一座工厂、一座城市,不同物理实体的应用重点差别很大;对此,NVIDIA将自身所擅长的GPU数据处理、CUDA运算、实时光线追踪RTX技术等软硬件能力,以及长期深耕的图形、AI、仿真ECO经验进行集中,以更高效和兼容的方式推出了Omniverse平台,从而解决现实世界与数字世界映射过程中的各项痛点,如各种数字工具的协同,高效逼真的渲染仿真等。

  英伟达Omniverse发布之初便搭建了以USD通用数据格式+五大功能模块的平台框架。据据英伟达产品介绍、OpenUSD信息速递,Omniverse 平台最初创建目的是将Sketch UP、Rhino、3DS Max等各类DCC软件打通融合(如BIM 软件中的资产即使能够转换成 Rhino 能够识别的三维模型,但依然会丢失建筑构件的大量的信息),Omniverse选择使用USD格式数字资产作为平台的数据格式,搭配五大功能模块实现融合:Nucleus 负责管理协作、Connect 负责联通第三方的DCC软件、Kit是用于构建原生Omniverse应用程序和微服务的工具包、Simulation负责物理仿真、RTX Renderer 负责实时渲染等。

  经过多年发展,当前Omniverse平台在通用数据格式和五大功能模块为基础的系统生态已经长足进步,成为的基石。

  英伟达与行业巨头联手打造OpenUSD联盟,并将Omniverse与USD格式数据深度优化绑定。英伟达与Pixar、Adobe、Apple、Autodesk等企业成立了非营利组织AOUSD(OpenUSD联盟)致力于通过 OpenUSD 促进 3D 内容的互操作性,当前USD格式数据已可以很好描述3D世界的几何图形、材质、物理特性和行为表示。Omniverse针对USD数据来进行深度开发,包括但不限于:

  1)推出材质定义语言 (MDL) 可让开发者在支持的应用之间轻松地共享基于物理性质的材质;

  2)加强USD物理特性仿线)使用 Python 3 异步API在Omniverse服务器和本地文件系统之间安全地加载和保存素材;

  5)例如地理空间坐标、连接 glTF 文件格式、实时程序化、能够在网络浏览器中运行,以及实时串流

  据英伟达官网,无论是独立开发者还是企业开发者,都可以轻松构建和销售自己的扩展应用,连接器,以及 Omniverse 平台上的微服务,如:1)使用低代码和无代码的 Python 或 C++开发语言;

  2)利用 NVIDIA 在过去 20 多年中积累的 AI、渲染和模拟技术,轻松修改或整合超过 500 个预构建的 Omniverse 扩展,并将其添加到您的项目和发行版中

  机器人平台Isaac Sim为代表的前沿技术平台打下坚实基础。英伟达首先利用OpenUSD打通数据孤岛,再利用RTX等技术实现精确的物理模拟能力,最后提供真实世界数据和合成数据相结合训练AI的能力,被全世界的开发者普遍的使用。凭借完善的服务流程,各行各业的客户纷纷将该Omniverse与自身工作流相结合,包括AWS、宝马、索尼等科技巨头。图:Omniverse与其他工作流的协同

  例如怎么样处理全球变暖以及怎么样处理气候平均状态随时间的变化。英伟达Earth-2项目通过结合GPU加速计算、深度学习和内嵌物理信息的神经网络的突破以及人工智能超级计算机三大技术,再加上大量可供学习的观测和模型数据,第一次拥有了构建超高分辨率气候模型的技术,能够以光速来预测未来几十年的区域极端天气变化。

  以宝马项目为例,宝马公司正在内部推进NVIDIA Omniverse平台的使用,以协调全球31座工厂的生产,宝马所需应对的挑战不只是各工厂之间的协调,还有如何共享从不同来源导入的数据。宝马员工使用Autodesk Revit、Dassault Systèmes CATIA和数据点云等多种不同的软件工具,通过Omniverse,他们可以清楚访问这些来源的数据,这与目前必须传输不同应用数据的工厂规划技术形成了鲜明的对比。此外,Omniverse平台未来还支持用户能在协作模拟中合并所有相关数据库的实时数据,因此不需要重新导入数据;以及一位同事能够正常的使用动作捕捉技术生成虚拟影像,并出现在任何其他工作地点的另一位同事身边以一起处理问题的新时代协作模式。

  以立方数科项目为例,公司在设计建筑时面临着诸多挑战,其中协作与设计思想的交流是项目团队其中较为棘手的问题,如当小组成员远程工作并且分散各地时,需要转换和合成来自不同软件工具、数据集和其他项目贡献者的数据,导致问题复杂度加剧,设计流程推进缓慢;同时,设计团队持续面临着在紧张的交付期限所带来的压力,因此,对高效协作、高保真渲染的迭代速度,以及准确模拟和逼真度的期望日渐增长。从初始概念设计、全球协作,到快速设计评审、演示,Omniverse 能改变建筑、工程和施工的每个工作阶段。通过 NVIDIA Omniverse 和 Omniverse 提供的相关组件,如 Omniverse Create 和 Omniverse View,以及 NVIDIA RTX 实时光线追踪等技术,立方数科轻轻松松实现了产业园项目的建筑规划设计方案。

  机器人平台便是其中代表者。图:英伟达Isaac Sim机器人平台技术框架

  Isaac Sim平台为开发者提供了从机器人仿真开发、训练、部署、维护等全流程的

  前者是一个仿真器,为测试机器人算法提供仿真环境,后者是针对 NVIDIA Jetson 优化的硬件加速软件,其中包含机器学习、计算机视觉和定位算法。基于 NVIDIA Isaac 平台做 HIL 测试,您可以验证和优化机器人软件栈的性能,从而获得更安全、更可靠、更高效的产品。利用 Isaac ROS,开发的人能创建复杂的机器人应用程序,精确地执行复杂的任务。图:英伟达Isaac ROS架构

  Isaac Sim 利用 Omniverse 内置的强大连接器功能,内置了对流行产品设计格式的支持:先进的URDF导入器已在多种机器人型号上进行了测试;CAD 文件可以直接从 Onshape 和 STEP 文件导入,只需最少的后期处理;为了更轻松地将资源添加到不同的环境,Isaac Sim 支持 Shapenet 导入器,该导入器提供对大量 3D 资源的访问。

  训练机器人需要大量多样的数据集,准备这一些数据集可能耗时耗钱又危险,甚至在某些极端情况下没有办法进行。利用 Isaac Sim 的 Omniverse Replicator,开发者在开发周期早期阶段能够正常的使用合成数据能加速概念验证或验证 ML 工作流;在开发周期的后期阶段以使用合成数据来增强真实数据,从而缩短训练产品模型的时间。

  Eureka还会利用 Isaac Gym 中的 GPU 加速模拟,Eureka 能快速评估大批奖励候选者的质量,来提升训练效率;Eureka 随后会基于训练结果汇总关键统计数据,并指导 LLM 改进其奖励函数的生成。通过这一种方式,AI 可以自我完善。Eureka 教会了各类机器人,包括四足机器人、双足机器人、四旋翼机器人、灵巧手、协作机器人臂等,来完成不一样的任务。

  Isaac AMR 是一个可用于打造新一代 AMR 车队的平台,包含了从边缘到云的软件服务、计算以及一套参考

  和机器人硬件,用于仿真、验证、部署、优化和管理 AMR 车队,在大型、高动态、非结构化的环境中确保先进的测绘、自主和仿真能力。按照 Isaac AMR 所提供的蓝图,就能够轻松地以更低的成本、更快的速度部署最先进的 AMR。Isaac AMR 建立在 NVIDIA Nova Orin 参考架构的基础上,该套件集成了包括立体摄影机、鱼眼摄影机、2D 及 3D激光雷达等多个传感器,以及强大的 NVIDIA Jetson AGX Orin 系统模块,并取得部分最先进的和硬件加速算法,实时在边缘以 275TOPS 的算力执行这些算法,藉此成为 Isaac AMR “学霸朋友般”的大脑与 “时刻观察路况”的眼睛。第三方企业等开发者还可以基于 Isaac AMR,结合自己需求来做二次开发。图:英伟达Isaac AMR部署示意图

相关新闻