エージェント型AIにおけるストレージの課題
従来のデータセンターが提供する大容量の汎用ストレージは、多くのステップやツール、セッションで動作するAIエージェントとのシームレスな相互作用に必要な応答性を欠いています。エージェント型AIは、対話やタスクを高速かつ一貫性のあるものに保つために、データへのリアルタイムアクセスとコンテキストを保持するワーキングメモリを必要とします。コンテキストが拡大すると、従来のストレージとデータパスではAI推論が遅くなり、GPUの使用率が低下する可能性がありました。
NVIDIA STXによる革新
新しいNVIDIA STXリファレンスアーキテクチャは、最大5倍のトークンスループットと最大4倍のエネルギー効率の向上を実現し、データ取り込みを2倍高速化します。これにより、ストレージプロバイダーはデータを近くに保持し、大規模環境でもアクセスを可能にするインフラを構築できます。その結果、エージェント型AIファクトリーは、推論、トレーニング、分析にわたって高いスループットと応答性を実現できるようになります。
NVIDIAの創業者兼CEOであるジェンスン・フアン氏は、「エージェント型AIはソフトウェアのあり方を根本から変えつつあります。これに伴い、その基盤となるコンピューティングインフラも作り直す必要があります。大規模なコンテキストで推論し、継続的に学習するAIシステムには、新たな種類のストレージが求められます。NVIDIA STXは、ストレージスタックを再構築し、AIネイティブインフラ向けのモジュール型基盤を提供することで、AIファクトリーをピークパフォーマンスで稼働させ続けることを可能にします」と述べています。
NVIDIA STXの詳細については、NVIDIA STXをご覧ください。
NVIDIA CMX™ コンテキスト メモリ ストレージ プラットフォーム
STXの最初のラックスケール実装には、新しいNVIDIA CMX™ コンテキスト メモリ ストレージ プラットフォームが含まれます。これは、スケーラブルな推論システムとエージェント型システム向けの高性能なコンテキストレイヤーによってGPUメモリを拡張し、従来のストレージと比較して最大5倍のトークン/秒を提供します。
NVIDIA CMX™ コンテキスト メモリ ストレージ プラットフォームについては、こちらで詳細を確認できます。
STXを支える技術とパフォーマンス
STXは、NVIDIA Vera Rubinプラットフォームで高速化されており、ストレージ向けに最適化された新しいNVIDIA BlueField-4プロセッサを活用しています。このプロセッサは、NVIDIA Vera CPUとNVIDIA ConnectX®-9 SuperNICを組み合わせ、NVIDIA Spectrum-X™ Ethernetネットワーキング、NVIDIA DOCA™、およびNVIDIA AI Enterpriseソフトウェアとともに構成されます。
また、STXアーキテクチャは、高性能ストレージ向けの従来のCPUアーキテクチャと比較して4倍高いエネルギー効率を実現し、エンタープライズAIデータに対して1秒あたり2倍多くのページを取り込むことが可能です。
業界からの幅広い採用
コンテキストメモリストレージとしてSTXを早期に採用した企業には、CoreWeave、Crusoe、IREN、Lambda、Mistral AI、Nebius、Oracle Cloud Infrastructure (OCI)、Vultrなどが含まれます。
NVIDIA STXを基盤とした次世代AIインフラを共同設計するストレージプロバイダーのパートナーには、以下の企業が名を連ねています。
また、STX基盤のシステムを構築している製造パートナーには、AIC、Supermicro、Quanta Cloud Technology (QCT)が含まれています。
提供時期と関連情報
STXベースのプラットフォームは、今年後半にパートナー各社から提供される予定です。
NVIDIAの創業者兼CEOであるジェンスン・フアン氏のGTC基調講演および関連セッションも合わせてご覧ください。
NVIDIAに関する情報は、NVIDIA公式サイトで確認できます。
コメント