Meta AI の Llama 3.1 405b は、多くのユーザーを感動させたヒット作です。この新しいモデルは小さなモデルではありません。増え続ける言語モデルのプールの中では大物です。誰もが話したり書いたりする AI を見てみましょう。
Meta AI の Llama 3.1 405b は、その名前が示すように、4050 億のパラメータを持つ大規模な言語モデルです。これは、2024 年 4 月にリリースされた Meta の Llama 3 シリーズの一部です。初期のベンチマークでは、このモデルがいくつかの主要な AI テストで現在のリーダーを上回る可能性があることが示唆されています。
まったく違う色の馬：Meta AI の Llama 3.1 405b の仕様
Meta AI（旧Facebook AI Research）は、Meta Platformsの人工知能研究部門です。同社は、独自の言語モデルに代わるオープンソースの選択肢として、2023年にLlama（Large Language Model Meta AI）を導入しました。LlamaはAIコミュニティで急速に人気を博しました。この成功を基に、Metaは2023年に大幅な改善がみられたLlama 2をリリースしました。
現在、Llama 3 により、Meta は限界をさらに押し広げ、今日取り上げる強力な Llama 3.1 405b モデルに至りました。この急速な進歩は、オープンソース AI テクノロジーの進歩に対する Meta の取り組みを示すものです。
人工知能が身近に溢れる時代になっても、企業は止まりません。昔のゲームのグラフィックを見て、どこまで改善できるのかと疑問に思う時代、私たちは新しいグラフィックを許容するようになりましたが、それは人工知能でも同じです。
Meta AI は、パフォーマンスに関しても決して劣っていません。このモデルには 4,050 億のパラメータがあり、AI 分野では有力な存在となっています。 では、この 405b パラメータは何を意味するのでしょうか?
隣人は絶対に言わない：Meta AI の Llama 3.1 405b と競合他社の比較
Meta AI の Llama 3.1 405b は、初期のベンチマークで素晴らしい結果を示しています。GSM8K、Hellaswag、Boolq、さまざまな MMLU カテゴリを含むいくつかのテストで GPT-4 を上回っています。ただし、HumanEval や MMLU 社会科学などの分野では遅れをとっています。
このモデルのパフォーマンスは、数学とコーディングのタスクで特に優れています。たとえば、GSM8K テストでは、Meta AI の Llama 3.1 405b は 96.8 点を獲得しましたが、70B 版は 94.8 点でした。HumanEval では、405B モデルは 85.3 点に達しましたが、70B バージョンは 79.3 点でした。
これらの数値は基本モデルに基づいています。命令のチューニングにより、これらの結果がさらに改善される可能性があります。したがって、これらの数値は処理能力を表しており、数値が大きいほど良いと言えますが (場合によっては)、モデルが負荷で圧倒されることもあります。
未来への足取り: Meta AI の Llama 3.1 405b とオープンソース AI
Meta AI の Llama 3.1 405b モデルがオープンソース AI であり、初めてオープンソース モデルがさまざまなベンチマークで利用可能な最高のクローズド ソース LLM に勝ったという事実は、現時点では完全に理解されていなくても、今後の兆候となる可能性があります。現時点では、ChatGPT で GPT を作成できます。この依存関係は将来的に解消される可能性があります。
Meta AI の Llama 3.1 405b は、AI 分野における強力な新参者です。さまざまなベンチマークでの優れたパフォーマンスとオープンソースの性質により、注目すべきモデルとなっています。AI が進化し続ける中、Meta AI の Llama 3.1 405b は、言語モデルと AI テクノロジーの未来を形作る上で重要な役割を果たすことができます。
注目の画像クレジット: Meta AI Blog
Source: Meta AIのLlama 3.1 405bがベンチマークを達成
