Meta Llama 3.1 405B が正式に発表され、AI 機能がリリースされる前からその名を馳せています。Meta が開発したこの最先端モデルは、最高のクローズドソース AI モデルに匹敵する、前例のない柔軟性、制御性、パフォーマンスを提供します。
昨日、一部のユーザーがその可能性をいち早く体験し、本日、その素晴らしい機能を強調する公式ベンチマーク テストを実施しました。昨日の発表内容の詳細については、こちらでご覧いただけます。
Meta Llama 3.1 405Bとは何ですか?
今日は、Meta Llama 3.1 405B について知っておくべきことをすべて学びます。Llama 3.1 405B は、一般知識、ナビゲーション、数学、ツールの使用、多言語翻訳などのさまざまなタスクに優れたオープンソース AI です。また、中レベルの 70B および最小レベルの 8B バージョンも、それぞれのクラスで優れています。128K のコンテキスト長と 8 つの言語のサポートを備えたこのモデルは、複雑で多様なアプリケーションを処理できるように設計されています。
16,000 台以上の H100 GPU を使用して 15 兆以上のトークンでトレーニングされた Llama 3.1 405B は、現在入手可能な AI モデルの中で最も強力で有能なモデルの 1 つとして際立っています。この AI には多くのエネルギーが投入されています。ここからは技術的な話に移りましょう。
Meta Llama 3.1 405Bの主な特徴
Meta Llama 3.1 405B には、いくつかの高度な機能が備わっています。
- 拡張コンテキスト長: 最大 128K のコンテキスト長をサポートし、長いテキストの要約や複雑な会話に最適です。
- 多言語対応: 複数の言語を処理できるため、グローバルなアプリケーションに幅広く使用できます。
- 高度なツールの使用: さまざまなツールと統合して機能を強化できます。
- 合成データ生成: 小規模なモデルの改善とトレーニングのための合成データの作成を容易にします。
- モデル蒸留: 大規模なモデルをより小さく、より効率的なバージョンに分割できます。
Meta は 25 社以上の企業と提携し、Meta Llama 3.1 405B の使いやすさを向上させました。このエコシステムのサポートにより、開発者や研究者は、膨大な計算リソースにアクセスできない場合でも、この強力なモデルを操作しやすくなります。
Meta Llama 3.1 405Bの使い方
Meta Llama 3.1 405B の使用を開始するには、次の手順に従ってください。
- モデルにアクセスする: モデルをダウンロードするには、llama.meta.com または Hugging Face にアクセスしてください。これらのプラットフォームでは、開始するために必要なファイルとドキュメントが提供されています。
- 環境を設定する: モデルを実行するための適切な環境があることを確認します。これには、GPU などの必要なハードウェアと、Python や PyTorch などのソフトウェア依存関係が含まれます。
- モデルをロードする: 提供されているコード スニペットとガイドラインを使用して、モデルをアプリケーションにロードします。Meta では、Llama 3.1 405B をプロジェクトに統合するための詳細な手順が提供されています。
- 推論を実行する: リアルタイムまたはバッチ推論にモデルの使用を開始します。強力な機能を使用して、モデルに質問したり、テキストを生成したり、翻訳を実行したりできます。
- 特定のタスクに合わせて微調整する: 必要に応じて、教師あり微調整手法を使用して、特定のアプリケーション向けにモデルを微調整できます。Meta では、このプロセスをガイドするリソースと例を提供しています。
Llama のオンライン バージョンは現在、特定の国でのみ利用可能です。ただし、オープン ソース コードをダウンロードしてローカルで使用することもできます。ダウンロード手順は、案内するサイトで確認できます。Grog 経由で Meta Llama 3.1 405B を使用することもできます。
Groq で Meta Llama 3.1 405B を使用する方法
現在最大かつ最も高性能なオープン ファンデーション モデルである Meta Llama 3.1 405B が、Groq で利用できるようになりました。このガイドでは、Groq で Meta Llama 3.1 405B を使い始める手順を説明します。
ステップ1: GroqCloud 開発コンソール
- サインアップ/ログイン: GroqCloud Dev Console にアクセスし、アカウントにサインアップまたはログインします。
- Meta Llama 3.1 モデルを探す: モデルセクションに移動して、Meta Llama 3.1 405B を検索してください。70B および 8B Instruct モデルもご利用いただけます。
- APIキーを取得する: コンソールから無料の Groq API キーを取得します。このキーを使用すると、モデルを操作できるようになります。
グロクチャット
一般公開の場合は、GroqChat を使用できます。
- GroqChatを訪問: GroqChat にアクセスして、Meta Llama 3.1 405B と直接やり取りします。
- 機能の詳細を見る: テキストの生成、翻訳、クエリへの回答など、モデルの機能をリアルタイムでテストします。
ステップ2: 環境の設定
ハードウェアおよびソフトウェアの要件
- ハードウェア: モデルの要件を処理するために適切なハードウェア (できれば GPU) があることを確認します。
- ソフトウェア: Python や PyTorch などの必要なソフトウェア依存関係をインストールします。詳細なセットアップ手順は、GroqCloud Dev Console で確認できます。
環境設定
- API統合: 既存の業界標準 API キーを Groq API キーに置き換えます。
- ベースURLを設定する: API リクエストに Groq のベース URL を使用するようにアプリケーションを構成します。
ステップ3: モデルの読み込みと実行
モデルの読み込み
- コードスニペット: GroqCloud Dev Console で提供されているコード スニペットを使用して、Meta Llama 3.1 405B をアプリケーションに読み込みます。
- 初期化: API キーを使用してモデルを初期化し、特定のユースケースに必要なパラメータを設定します。
推論の実行
- リアルタイム推論: モデルにクエリを送信し、応答を受信することで、リアルタイム推論の実行を開始します。
- バッチ処理: 大規模なタスクの場合は、バッチ処理を使用して複数のクエリを同時に処理できます。
ステップ4: 特定のタスクに合わせて微調整する
- トレーニングデータ: モデルを微調整する特定のアプリケーション用にデータセットを準備します。
- 微調整プロセス: Meta と Groq が提供する詳細な手順に従って、教師あり手法を使用してモデルを微調整します。
- 検証: 微調整されたモデルを検証し、必要なパフォーマンス基準を満たしていることを確認します。
Meta Llama 3.1 405B: ベンチマークテストとパフォーマンス
昨日、オープンソースの性質上、ユーザーによるテストが行われました。しかし、現在、公式ベンチマークテストにより、Meta Llama 3.1 405B がさまざまなタスクで非常に優れたパフォーマンスを発揮することが確認されています。このモデルは、150 を超えるベンチマークデータセットで評価され、GPT-4 や Claude 3.5 Sonnet などの主要なモデルと比較されています。結果から、Llama 3.1 405B はこれらのトップモデルと競合し、実際のシナリオで高品質のパフォーマンスを発揮することが示されています。
まず、Llama 3.1 8B と Llama 3.1 70B のベンチマークは次のとおりです。
| カテゴリー | 基準 | ラマ 3.1 8B | ジェマ 2 9B IT | ミストラル 7B インストラクト | ラマ 3.1 70B | ミクストラル 8x22B インストラクト | GPT 3.5 ターボ |
|---|---|---|---|---|---|---|---|
| 一般的な | MMLU (0 ショット、CoT) | 73.0 | 72.3 | 60.5 | 86.0 | 79.9 | 69.8 |
| 一般的な | MMLU PRO (5ショット、CoT) | 48.3 | – | 36.9 | 66.4 | 56.3 | 49.2 |
| 一般的な | IFEval | 80.4 | 73.6 | 57.6 | 87.5 | 72.7 | 69.9 |
| コード | HumanEval (0 ショット) | 72.6 | 54.3 | 40.2 | 80.5 | 75.6 | 68.0 |
| コード | MBPP EvalPlus (ベース) (0ショット) | 72.8 | 71.7 | 49.5 | 86.0 | 78.6 | 82.0 |
| 数学 | GSM8K (8ショット、CoT) | 84.5 | 76.7 | 53.2 | 95.1 | 88.2 | 81.6 |
| 数学 | MATH (0 ショット、CoT) | 51.9 | 44.3 | 13.0 | 68.0 | 54.1 | 43.1 |
| 推論 | ARCチャレンジ（0ショット） | 83.4 | 87.6 | 74.2 | 94.8 | 88.7 | 83.7 |
| 推論 | GPQA (0 ショット、CoT) | 32.8 | – | 28.8 | 46.7 | 33.3 | 30.8 |
| ツールの使用 | 英国 | 76.1 | – | 60.4 | 84.8 | – | 85.9 |
| ツールの使用 | ネクサス | 38.5 | 30.0 | 24.7 | 56.7 | 48.5 | 37.2 |
| 長いコンテキスト | ゼロスクロールズ/品質 | 81.0 | – | – | 90.5 | – | – |
| 長いコンテキスト | インフィニットベンチ/En.MC | 65.1 | – | – | 78.2 | – | – |
| 長いコンテキスト | NIH/マルチニードル | 98.8 | – | – | 97.5 | – | – |
| 多言語 | 多言語MGSM（0ショット） | 68.9 | 53.2 | 29.9 | 86.9 | 71.1 | 51.4 |
Meta Llama 3.1 405B ベンチマークもあります:
| カテゴリー | 基準 | ラマ 3.1 405B | ネモトロン 4 340B 説明書 | GPT-4 (0125) | GPT-4 オムニ | クロード 3.5 ソネット |
|---|---|---|---|---|---|---|
| 一般的な | MMLU (0 ショット、CoT) | 88.6 | 78.7 (CoT以外) | 85.4 | 88.7 | 88.3 |
| 一般的な | MMLU PRO (5ショット、CoT) | 73.3 | 62.7 | 64.8 | 74.0 | 77.0 |
| 一般的な | IFEval | 88.6 | 85.1 | 84.3 | 85.6 | 88.0 |
| コード | HumanEval (0 ショット) | 89.0 | 73.2 | 86.6 | 90.2 | 92.0 |
| コード | MBPP EvalPlus (ベース) (0ショット) | 88.6 | 72.8 | 83.6 | 87.8 | 90.5 |
| 数学 | GSM8K (8ショット、CoT) | 96.8 | 92.3（無得点） | 94.2 | 96.1 | 96.4（無得点） |
| 数学 | MATH (0 ショット、CoT) | 73.8 | 41.1 | 64.5 | 76.6 | 71.1 |
| 推論 | ARCチャレンジ（0ショット） | 96.9 | 94.6 | 96.4 | 96.7 | 96.7 |
| 推論 | GPQA (0 ショット、CoT) | 51.1 | – | 41.4 | 53.6 | 59.4 |
| ツールの使用 | 英国 | 88.5 | 86.5 | 88.3 | 80.5 | 90.2 |
| ツールの使用 | ネクサス | 58.7 | – | 50.3 | 56.1 | 45.7 |
| 長いコンテキスト | ゼロスクロールズ/品質 | 95.2 | – | – | 90.5 | 90.5 |
| 長いコンテキスト | インフィニットベンチ/En.MC | 83.4 | – | 72.1 | 82.5 | – |
| 長いコンテキスト | NIH/マルチニードル | 98.1 | – | 100.0 | 100.0 | 90.8 |
| 多言語 | 多言語MGSM（0ショット） | 91.6 | – | 85.9 | 90.5 | 91.6 |
Meta Llama 3.1 405B は、開発者や研究者にさまざまなアプリケーション向けの強力なツールを提供することで、オープンソース AI の進歩を表しています。高度な機能、堅牢なエコシステム、責任ある開発への取り組みにより、Llama 3.1 405B が 70B および 8B AI コミュニティに革新をもたらすことを期待しています。ここに私たちが準備したものすべてを示します。
注目の画像クレジット: Meta AI
