OpenAI は、Broadcom と協力して開発した初のカスタムビルド推論プロセッサである Jalapeño を発表しました。このプロセッサは、OpenAI の推論システム用に特別に設計されており、同社独自の AI モデルによって支援されていると同社は述べています。
ハラペーニョは現在テスト中ですが、初期の結果では、現在の最先端の代替品と比較してワットあたりのパフォーマンスが大幅に優れていることが示されています。 Broadcom との提携は 10 月に正式に発表され、OpenAI の Nvidia GPU への依存を減らすことが目的であるとの憶測が続いている。
OpenAIと同様に、GoogleとAmazonも機械学習のパフォーマンスを強化するために「AIアクセラレータ」と呼ばれるカスタムチップを開発した。 OpenAI の社長である Greg Brockman は、Broadcom との提携を発表した直後に、ポッドキャストで同社のチップ開発戦略について話し合いました。
「私たちは仕事量を深く理解しています」とブロックマン氏は語った。 「私たちは、十分なサービスが提供されていない特定のワークロードを真剣に探しており、可能なことを加速できるものをどのように構築できるかを考えてきました。」
Jalapeño プロセッサは、ユーザーのコマンドに応じて事前に構築された AI モデルを実行する推論用に最適化されています。 OpenAI は、リアルタイム コーディング モデルに対するチップの運用コストの低さを強調しました。事前トレーニングなど、よりパフォーマンスを重視するタスクは引き続き Nvidia ハードウェアに依存すると思われますが、推論コストの削減は OpenAI の財務にプラスの影響を与える可能性があります。
推論システムの最適化は、今後の AI の経済的存続にとって不可欠である可能性があります。 OpenAI は、導入に必要なデータセンターと並行して、Codex を含むさまざまなエージェント製品の構築に重点を置いています。カスタム チップへの移行により、同社はインフラストラクチャをさらに強化できるようになります。
「OpenAIは、フロンティアモデルを開発したり、その上に製品を構築したりするだけではなく、チップアーキテクチャ、カーネル、メモリシステム、ネットワーキング、スケジューリング、展開システム、製品エクスペリエンスなど、その下にあるインフラストラクチャを設計している」と同社は述べている。 「OpenAI はスタック全体で動作するため、モデルをより高速にし、信頼性を高め、ユーザーにとってより手頃な価格にするという同じ目標に沿って各レイヤーを最適化できます。」
