イーロン・マスク氏の xAI Corp. は、強力な AI トレーニング システムである Colossus をリリースしました。マスク氏は、X (旧 Twitter) の最近の投稿でこれを発表しました。10 万枚の Nvidia グラフィック カードを使用するこの新しいシステムは、xAI と AI コミュニティにとって大きな前進です。
Colossus システムは、2022 年以来 AI 処理の標準となっている Nvidia の H100 グラフィック カードを使用しています。このシステムは、これまでに構築された中で最も高度な AI トレーニング システムの 1 つです。マスク氏は、この新しいシステムは「世界で最も強力な AI トレーニング システム」であると語っています。米国エネルギー省の Aurora のような最速のスーパーコンピューターを凌ぐ可能性さえあります。
今週末、 翻訳: チームは、Colossus 100k H100 トレーニング クラスターをオンラインにしました。開始から完了まで、122 日で完了しました。
Colossus は世界で最も強力な AI トレーニング システムです。さらに、数か月以内にサイズが 200k (50k H200s) に倍増します。
素晴らしい…
— イーロン・マスク (@elonmusk) 2024年9月2日
コロッサスの力の原動力
Colossusシステムの処理能力はNvidiaの H100チップこれらのチップは AI 業界で最も強力なチップの 1 つであり、大規模な言語モデルのトレーニング用に設計されています。H100 の Transformer Engine モジュールは、Transformer ニューラル ネットワーク アーキテクチャに基づく AI モデルの実行に最適化された回路のセットです。このアーキテクチャは、Meta の Llama 3.1 405B や OpenAI の GPT-4 など、多くのトップ AI モデルで使用されています。
マスク氏のxAI社は 60億ドルの投資、その評価額を 240億ドルこの資金は、マスク氏が契約違反で訴えているOpenAIに対抗するための取り組みの一環である。Colossusシステムは、米国エネルギー省のAuroraスーパーコンピューターよりも高速である。Nvidiaの高度なH100グラフィックカードを使用している。 H200チップ 改善策を提案する。 HBM3からHBM3eメモリ オンボードメモリ容量の増加により、 141ギガバイトColossus を動かすチップの一部は、当初は Tesla 向けに設計されたものでした。
オースティンのテスラ本社で、現実世界のAI問題を解決するために構築されている巨大な新しいAIトレーニングスーパークラスターであるCortexの内部のビデオ pic.twitter.com/DwJVUWUrb5
— イーロン・マスク (@elonmusk) 2024年8月26日
システムには 10 万個以上のチップが搭載されています。マスク氏はシステムのチップ数を 20 万個に倍増し、そのうち 5 万個はより新しく、より高速な H200 プロセッサにすることを計画しています。H200 は H100 の改良版です。2 つの新機能が追加され、より高速で強力になりました。これらのアップグレードにより、Colossus は複雑な AI モデルをより簡単に処理できるようになります。
xAI が AI 技術を進歩させる中、この新しいシステムは次世代言語モデルの開発の鍵となるだろう。同社の主力モデル Grok-2 は 15,000 個の GPU を使用してトレーニングされた。Colossus の 100,000 個のチップのパワーにより、さらに高度なモデルを作成できる。xAI は年末までに新しいモデルをリリースする予定だ。
画期的な AI 開発に加え、xAI が Nvidia ハードウェアを使用していることは、さまざまな業界で強力な AI 処理機能に対する需要が高まっていることを浮き彫りにしています。Colossus で使用されているチップの一部がもともと Tesla 向けだったという事実は、マスク氏のより広範なビジョンにおけるこの技術の重要性をさらに強調しています。
注目の画像クレジット: Furkan Demirkaya / Dall-E
