本日の GTC Taipei と Computex で、NVIDIA Corp. は、ロボット工学、自動運転車、ビジュアル AI、産業用デジタル ツインの開発者を支援するいくつかのオープンソースの物理 AI スキルとツールを発表しました。-同社は、大規模な物理 AI ワークフローの構築にかかるコスト、時間、複雑さを軽減できると主張しました。
の一部として利用可能NVIDIA エージェント ツールキット同社によると、新しいスキルにより、AIエージェントはロボット、自動運転車（AV）、工場、研究所の背後にあるデータ生成、シミュレーション、トレーニング、評価、導入パイプラインを高速化できるという。
NVIDIA の創設者兼 CEO のジェンセン ファンは GTC Taipei で、「AI エージェントはソフトウェア開発に革命を起こしており、その変化は現在物理 AI にも到来しており、輸送、製造、ヘルスケア、ロボティクスを変革するシステムにまで広がっています」と述べました。 「エージェントが NVIDIA のライブラリ、モデル、フレームワークを直接使用できるようになると、物理的な AI 開発がより迅速に進み、開発者は驚くべきペースで未来のロボット、自動運転車、産業システムを構築できるようになります。」
「物理 AI には、さまざまな環境での大量のトレーニング データが必要です」と、NVIDIA の物理 AI シミュレーション担当副社長、Rev Lebaredian 氏は述べています。 「遠隔操作、シミュレーション、インターネット規模のデータは、無限の多様なユースケースのための世界基盤モデルにつながります。-」
NVIDIA が物理 AI スタック エージェントを準備-
NVIDIA は、ライブラリ、モデル、フレームワークをエージェント呼び出し可能なツールに変えることで、エージェント向けに物理 AI スタック全体を最適化していると述べました。{0}これには以下が含まれます。
NVIDIA コスモス物理世界の推論と生成のための 3 つの世界基盤モデル
NVIDIA オムニバースシミュレーションとデジタルツイン用のライブラリ
NVIDIA アイザックロボットシミュレーションとロボット学習用
NVIDIA メトロポリスビジョンAI向け
NVIDIA アルパマヨのために自動運転
NVIDIA ジェットソンエッジAI開発用プラットフォーム
「Cosmos 3 は物理 AI のフロンティア基盤モデルです」と Lebaredian 氏は述べています。 「ビデオとテキストを理解し、重要なものにフラグを立てることができます。Cosmos は物理的に正確なシミュレーションであり、次に何が起こるかを予測してアクションを生成することができます。」
これらのツールの適用を支援するために、NVIDIA は新しいスキル物理的な AI 開発プロセスを、コーディング担当者が従うことができる反復可能な指示に変換します。これには、どのツールを呼び出すか、どのような出力を生成するか、開発者が結果を検証する方法が含まれます。
開発者は、これらのスキルを使用して自律エージェントを安全に構築および展開することもできます。NVIDIA ニモクロウ青写真とNVIDIA オープンシェルランタイム。ローカルまたはクラウド ハードウェア上でポリシー ベースのセキュリティとプライバシー ガバナンスを提供します。{0} Lebaredian 氏によると、エージェントは Jetson のエッジで実行され、稼働時間の向上がすでに実証されています。
NVIDIA は、同社の物理 AI スキルとツールが以下の分野でのエージェント開発を加速していると述べました。
ロボティクスとエッジ AI:ロボット開発者は、スキルを使用して、知覚およびモビリティ トレーニング データの生成からシミュレーション、ナビゲーション トレーニングの自動化、ロボット学習の進歩、Jetson ベースのエッジ システムの導入に向けた調整まで、ロボット開発パイプライン全体を加速できます。{0}
自動運転車:AV 開発者は、スキルを使用してエージェントに、フリートによってキャプチャされたデータをシミュレーション環境に再構築し、写真のようにリアルな運転シナリオを大規模に生成し、閉ループ強化学習を実行してトレーニングと評価の対象範囲を拡大するよう指示できます。{0}
リアルタイム ビジョン AI エージェント:-自動検査とビデオ インテリジェンスについては、NVIDIA のエージェント スキルが、チームによる合成トレーニング データの生成、モデルの微調整、ラベル付けの自動化、ライブビデオや録画ビデオの検索、要約、分析を行うビデオ AI エージェントの構築に役立つと述べています。{0}
産業用 AI:産業用ソフトウェア開発者は、これらのスキルを使用してエンジニアリング データをデジタル ツイン シミュレーション用のコンピュータ支援設計（CAD）アセットに変換し、手動設定を減らして大規模な OpenUSD シーンを最適化できます。{0}
健康管理：医療チームは、臨床環境に自動化を導入する前に、病院環境のデジタル ツインの作成、実際のデータ生成のシミュレーション、{0}{1}実際のデータ生成、ループ ポリシー テストのソフトウェア-をガイドすることができます。--
NVIDIA によれば、これらのスキルを組み合わせて、より大規模なエージェント システムに統合することができます。これにより、開発者は、データ生成、シミュレーション、最適化、推論調整、継続的評価などの複雑なワークフローを調整および自動化できます。
ロボット開発者が物理的な AI スタックを取得
1X Technologies、Agile Robots、Agility、FieldAI、Hexagon Robotics、NEURA Robotics、Skild AI、Universal Robots などは、NVIDIA のエージェント対応物理 AI スタックをすでに使用しています。-
「NVIDIA Isaac GR00T のスタック更新により、新しいエンドツーエンド ワークフローを数週間ではなく数時間でセットアップできます。」と Lebaredian 氏は述べています。 「『オムニ-モーダル』とは、アクションの入力と出力としてビデオ、センサー、テキスト、サウンドなどのさまざまなモードで動作することを意味します。{{5}」
さらに、Foxconn と Compal は、病院のロボット工学を加速するために NVIDIA Isaac for Healthcare を使用しています。 Compal は、病院全体のオーケストレーション プラットフォームに向けて PolyMedX ロボットの開発プロセスを進めており、シミュレーション、AI、現実世界の運用を統合しています。-
Foxconn は、Nurabot を複数の病院や長期医療環境に拡張し、AI を活用したロボット工学を患者ケアに導入するとともに、手術室のワークフローの最適化を支援する新しいスクラブナース連携ロボットを導入しています。{0}{1}
業界のリーダーが NVIDIA テクノロジーで構築
製造、輸送、ヘルスケア、産業用ソフトウェアの NVIDIA パートナーと顧客は、その物理 AI ライブラリを使用して自律システムと産業用 AI の開発を進めています。
これらのライブラリがエージェント対応になると、開発者は NVIDIA スキルを使用して、エージェントが複雑な物理 AI ワークフロー全体でセットアップ、実行、反復を自動化できるようになります。{0}
電子機器製造では、TSMC と Pegatron が視覚検査モデルを微調整しています。{0} Pegatron は、欠陥画像生成スキルから生成された合成データを使用して、モデルのトレーニングと展開にかかる時間を 67% 削減したと報告されています。
Delta Electronics は合成欠陥データを生成し、そのスキルを使用して金属バスバー上の余分なはんだを捕捉し、検出率を 17% 向上させました。 Inventec は、欠陥画像生成スキルを統合することで Observation Agent の視覚検査パイプラインを開発し、ラップトップ シャーシ製造における欠陥データ収集の労力を 30% 削減しました。
Foxconn は DeepHow と協力して、このスキルを使用してエラーを早期に発見することで製造効率を向上させ、初回パスの歩留まりを約 3% 向上させました。
産業用 AI では、ケイデンス、ダッソー システムズ、シーメンス、シノプシスが、エンジニアリング データ検査、シミュレーション、インタラクティブ デジタル ツインに NVIDIA Omniverse ライブラリとスキルを使用しています。 PTC、MetAI、Lightwheel は、NVIDIA Isaac Sim フレームワークと OpenUSD- ベースのワークフローを利用して、CAD データをシミュレーション対応のアセットと環境に変換しています。-
「Autonomous Fab 2030」ロードマップの一環として、SK ハイニックスは NVIDIA Omniverse を使用して半導体ファブ デジタル ツインを実装しています。チップメーカーはまた、NVIDIA および SK Telecom と協力して、特定の物理 AI を製造するための NVIDIA エージェント ツールキットを検証しています。{2}
{0}自動運転開発者の Li Auto、Afari、DeepRoute.ai は、ニューラル シーンの再構築とレンダリングに NVIDIA Omniverse NuRec モデルを使用しています。彼らは 1 日あたり 1,000 件以上の再構成と 300,000 件以上のレンダリングとシミュレーションを生成しました。
さらに、AV 企業は、新しいエージェント スキル リポジトリを使用して、より安全でより高性能な自動運転システムの開発を加速および強化しています。 Foxconn、VinFast、Uber、HUMAIN は、NVIDIA DRIVE Hyperion エコシステムに参加して、SAE レベル 4 ロボタクシーを開発および導入しました。
NVIDIA のロボット製品担当ディレクターの Spencer Huang 氏によると、Alpamayo 2 Super はすでに 50 万回以上ダウンロードされており、Computex で「ベスト テクノロジー」に選ばれています。
物理 AI エージェント ツールが利用可能になりました
NVIDIA は、同社の物理 AI エージェント ツールとスキルは、GitHubそしてスキル.shあらゆるコーディング エージェントで使用できます。
合成データ生成のためのエージェントのスキルとツール -神経の再構築, ビデオ拡張, 欠陥画像の生成- は、NVIDIA Brev でも次のように利用できます物理的な AI 発射可能物、合成データの生成と評価を迅速化するためのエージェントのスキルとツールをバンドルした事前構成された環境。
マイクロソフト、コアウィーブ、 そしてネビウスは、これらのエージェントのスキルとツールを自社のクラウド サービスと統合し、開発者が合成データの生成と展開を合理化および拡張できるようにしています。
Unitree ヒューマノイド、NVIDIA Isaac GR00T のリファレンス
NVIDIA は、NVIDIA Jetson Thor および NVIDIA Isaac GR00T 開発プラットフォームに基づいて構築されたオープン ヒューマノイド ロボット リファレンス デザインである、NVIDIA Isaac GR00T Reference Humanoid Robot も発表しました。同社は、これにより、高価な独自のプラットフォームを必要とせずに、高度なハードウェアとソフトウェアへのアクセスが民主化されるのに役立つと述べています。汎用ヒューマノイド-が増えます。
NVIDIA は、フルサイズのロボット本体と、器用な操作、センシング、制御、オンボード AI コンピューティングを組み合わせました。-
Unitree H2 ヒューマノイド シャーシ、身長は約 6 フィート (1.8 m)、体重は 150 ポンド (68 kg) で、人間スケールのテストでは 31 の自由度を備えています。-
デュアルシャーパウェーブ触覚の 5 本の指の手、-22 自由度での器用な操作が可能になり、ロボットの体と手の全体の自由度は 75 度になります。
マルチビューセンシング、-これには、広い視野（水平 140 度、垂直 102 度）を備えたヘッドマウント ステレオ カメラ、近距離操作用のリスト カメラ、モーション トラッキング用の慣性測定ユニットが含まれます。-
全身制御、-アームトルクは最大 120 ニュートン-メートル、脚トルクは最大 360 ニュートン-メートル、アーム定格ペイロードは 7 kg (15.4 ポンド)、ピークペイロードは 15 kg (33 ポンド) で、より強力な持ち上げとリーチを実現します。
NVIDIA Jetson AGX Thor T5000 オンボード コンピューティング、2,070 FP4 テラフロップスの AI パフォーマンスを備えた NVIDIA Blackwell GPU、14- コア Arm CPU、128 GB のユニファイド メモリ、リアルタイム センサー処理とロボット推論のための構成可能な 40 ～ 130 ワットの電力範囲を備えています。
接続性イーサネット、Wi-Fi 6、Bluetooth 5.2、USB、および音声対話用の一連のマイクとスピーカーを介して接続します。
長時間稼働用のバッテリー、15Ah、0.972kWhの容量で、寿命は約3時間です。
-遠隔緊急停止中ロボットを安全に素早く切り離すための機能。
Isaac GR00T プラットフォームには以下が含まれます。
NVIDIA アイザック テレオプトレーニングとポリシー開発のために、高品質のロボット デモンストレーション データを収集します。-
NVIDIA Isaac GR00T オープン基盤モデルヒューマノイドの推論、学習、マルチタスク行動をサポートします。
NVIDIA アイザック シム そしてアイザック研究室実際の展開前にロボット ポリシーをシミュレーション、トレーニング、テスト、評価するため。{0}}
高速化された NVIDIA Isaac ROS ミドルウェア訓練されたポリシーをロボットに移行します。
NVIDIA Jetson トールロボットの推論と制御で-リアルタイムに実行します。-
このシステムはモジュール式に設計されているため、ロボット工学チームはプラットフォーム全体を使用したり、選択した機能を既存の開発パイプラインに統合したりできるため、ロボットやタスクごとに同じインフラストラクチャを再構築することなく、ヒューマノイド開発をスケールすることができます。
Ai2、チューリッヒ工科大学、スタンフォードロボティクスセンター、カリフォルニア大学サンディエゴ校の先進ロボット制御研究所などの主要な研究機関は、このリファレンスデザインを使用してヒューマノイドロボット研究を推進することを計画しています。
「汎用ロボットの開発に向けて進歩するには、研究者は機能があり、広くアクセスできるプラットフォームを必要としています」と、Skild AI の共同創設者兼 CEO であるディーパック・パタック氏は{{0}{1}}述べています。 「リファレンス デザインにより、より多くの研究者が最先端のヒューマノイド研究に参加し、アイデアから実験に迅速に移行できるようになります。これにより、ロボット研究のエコシステム全体を前進させることができます。」