Meta が最新作を発表すると、現在、LLaMA 2 対 GPT-4 が多くの AI 愛好家の心を占めています。 しかし、この恐るべき言語モデルのオープンソース化に関する Meta の驚くべき発表は、驚くべき展開でニュースにもなりました。
この決定により、LLaMA 2 は瞬時に AI 巨人の領域に突入し、OpenAI の有名な GPT-4 との壮大な対決の舞台が整いました。 ChatGPT と Microsoft Bing の背後にある強力な企業です。
LLaMA 2 と GPT-4 のさまざまな比較
LLaMA 2-Chat は素晴らしい作品であり、その存在は微調整と強化学習のおかげです。 貴重な人間のフィードバック。 このプロセスには、嗜好データの収集と報酬モデルのトレーニングが含まれ、 ゴーストアテンション（GAtt）。 さらに、LLaMA 2-Chat は、その開発において不可欠な要素である GPT-4 出力に関するトレーニングを受けていることから恩恵を受けています。
LLaMA 2 vs GPT-4: グレード
モデルの有効性を評価するために、メタは以下を使用して人体研究を実施しました。 4,000 プロンプト、 を利用して “勝率” Vicuna ベンチマークと同様のメトリクスを使用して、シングル ターン プロンプトおよびマルチ ターン プロンプトのコンテキストで、オープン ソース モデルと ChatGPT や PaLM などのクローズド ソース モデルの両方と比較します。
印象的なのは 70B ラマ2モデルGPT-3.5-0301 と同等のパフォーマンス と Falcon、MPT、Vicuna などの他のモデルよりも優れたパフォーマンスを発揮します。 LLaMA 2 チャット モデルは、シングル ターン プロンプトとマルチ ターン プロンプトの両方で有用性に優れており、オープンソースの代替モデルを上回っています。 と 勝率36% と 同率31.5%ChatGPTと比較して、 LLaMA 2-Chat がその実力を証明します。
さらに、MPT-7B チャット モデルよりも優れたパフォーマンスを発揮します。 60% プロンプトの。 LLaMA 2-Chat 34B モデルの全体的な勝率は 以上 75% 同等サイズの Vicuna-33B および Falcon 40B モデルと比較するのは素晴らしい偉業です。 さらに、 70Bモデル PaLM-bison チャット モデルを大幅に上回っています。
LLaMA 2 対 GPT-4: コーディング
ただし、LLaMA 2 と GPT-4 間のコーディングに関しては、その数多くの成果にもかかわらず、 LLaMA-2 にはコーディングに関して弱点があります。 が示すコーディング能力には及ばない GPT-3.5 (48.1) と GPT-4 (67)。 MMLU ベンチマークは LLaMA-2 の強みを示していますが、HumanEval は、StarCoder (33.6) のようなコーディング用に明示的に設計されたモデルと比較して、そのコーディング能力が若干低いことを明らかにしています。 とはいえ、LLaMA-2のオープンウェイトを考慮すると、 時間の経過とともに大幅な改善が行われる可能性が非常に高いです。
LLaMA 2 vs GPT-4: ライティング
書き込みに関しては、LLaMA-2 と GPT-4 には顕著な違いがあります。 彼らのアプローチは、 詩を書きます、 例えば、 これ以上に明確なものはありません。 ChatGPTが採用しているのは 意図的な言葉選び、 に焦点を当てた 音声学 と あるより洗練された語彙、 多彩な表現力を持つ熟練の詩人のような存在。 対照的に、LLaMA-2 は次のことを選択します。 より単純な韻を踏んだ単語の選択、 高校の詩に似ています。
私はラマ-2 と GPT-4 の両方に、彼らの壮大な競争について詩を書くように依頼しました。 どっちがどっちか当ててみてください。
========= 詩 1 =========
テクノロジーが織りなす壮大なタペストリーの中で、
情報が変わり、アイデアが分裂する場所、
二人の人物が立ち、彼らの物語が織り交ぜられ、
GPT と Llama-2、…— ジム・ファン (@DrJimFan) 2023 年 7 月 18 日
小規模な訓練にもかかわらず、LLaMA-2 は多くの成果を上げています。 賞賛に値する成果、 ベータ版にアクセスした数人のユーザーからのフィードバックによると、 メタのアプローチは、 最初は公開されているデータを使用 と 後で高品質のデータを追加して、 もっている 効果が証明されている 少ない例でより良い結果を達成することができます。 モデルの出力は人間による注釈に匹敵することが観察されており、これはその開発が綿密であることの証拠です。
LLaMA 2 対 GPT-4: 同じプロンプトの結果
Llama 2 のデモ バージョンにしかアクセスできないことを考えると、これら 2 つのモデル全体を比較することは完全に公平ではない可能性があることに注意することが重要です。ただし、GPT-4 と Llama 2 の両方で同じプロンプトを使用すると、いくつかの結果が得られます。 興味深い洞察 それぞれの能力と文体の傾向を分析します。
プロンプト: 「チャットボットの重要性について 100 ワードの長文を書いてください。」
- GPT-4:
GPT-4 の応答は短くて簡潔であるように見えますが、 93単語、 正常に提供する 正確な情報。
- ラマ 2 デモ:
一方、Llama 2 は、より包括的な対応に傾いています。 122単語。 指定されたプロンプトを考慮すると、少し冗長になりますが、次のことを提供します。 賞賛に値する詳細な情報。
LLaMA 2の背景
LLaMA の旅は 2 月に始まり、AI 研究コミュニティ内で興奮を引き起こしました。 発表直後のリークは陰謀をさらに増大させた。 現在、LLaMA 2 がオープンソース モデルとしてリリースされたことにより、その潜在的な視聴者は 指数関数的に拡大しました。 以上で 100,000件のリクエスト 初期の LLaMA モデルで好評を博しましたが、LLaMA 2 の影響はさらに深刻なものとなるでしょう。
Microsoft の Inspire イベント中、Meta は Microsoft の Azure および Windows プラットフォームに対する揺るぎないサポートを紹介しただけでなく、爆弾発言も行いました。 LLaMA 2 を商業目的と研究目的の両方で自由にアクセスできるようにすることで。 この動きは、企業、新興企業、研究者がこの画期的な言語モデルの可能性を活用するための膨大な可能性を切り開いたという点で、重要なマイルストーンとなった。
前作と比較して、LLaMA 2 は大幅に改良されました。 トレーニングを受けた データが 40% 増加し、 公開されているオンライン ソースを含め、LLaMA 2 は推論、コーディング、熟練度、知識テストなどの分野で優れたパフォーマンスを示し、Falcon や MPT などの他の大規模な言語モデルを上回りました。
安全性と透明性を優先
Meta は、LLaMA 2 に厳格な規制を課すことで、安全性と透明性への取り組みを実証しました。 「レッドチーム」 と 微調整 敵対的なプロンプトを通じて。 これらの取り組みにより、LLaMA 2 は最高の安全基準を満たし、研究者や開発者は透明性のある評価プロセスを通じてそのパフォーマンスを明確に理解できるようになりました。
プラットフォーム間でのアクセシビリティ
オープンソース原則への取り組みに沿って、 Meta は、LLaMA 2 が複数のプラットフォーム間でアクセスできることを保証しました。 LLaMA 2 は当初 Microsoft の Azure を通じて利用可能でしたが、すぐに次のような他のプラットフォームにも導入される予定です。 AWS、ハグフェイス、 と その他。 この包括的なアプローチにより、開発者や研究者間の広範な導入とコラボレーションが促進され、AI アプリケーションの進歩が促進されます。
AI へのオープンなアプローチの力
Meta のオープンソース戦略は、急速に進化する生成 AI テクノロジーの状況と一致しています。 LLaMA 2 のような最先端のモデルへのアクセスを民主化することで、Meta は 開発者と研究者の協力的なコミュニティ モデルのストレス テストを共同で行い、潜在的な問題を特定し、解決策を迅速に実行して、最終的に AI イノベーションを前進させることができます。
LLaMA 2 対 GPT-4 および PaLM 2
LLaMA 2 は競合他社である GPT-4 や PaLM 2 よりも若干強力ではないかもしれませんが、そのオープンソースの性質と Meta が重視している安全性と透明性により、 主要な差別化要因。 LLaMA 2 は以下でトレーニングされました 200万トークン、 PaLM 2 よりも少ない 360万トークン、 と 20の言語をサポートしており、 後を追う PaLM 2 の 100 言語と GPT-4 の 26 言語。 ただし、オープンソースのコラボレーションとコミュニティ主導の開発の力により、これらの違いが相殺され、急速な進歩につながる可能性があります。
AI開発にとって極めて重要な瞬間
LLaMA 2 マークをオープンソースにするという Meta の決定 AI 情勢の転換点。 この強力な言語モデルを作成することで 自由にアクセスでき、 Meta は、安全性と透明性を最前線で確保しながら、開発者や研究者が AI イノベーションの限界を押し広げることを可能にします。 とのコラボレーション マイクロソフト と クアルコム AI アプリケーションの明るい未来をさらに確固たるものにし、多様なプラットフォームやデバイスにわたるシームレスな統合を約束します。
開発者と研究者が LLaMA 2 でこの旅に乗り出し、LLaMA 2 対 GPT-4 の競争が続く中、私たちは次のようなことが期待できます。 革新的な AI を活用したツールの波が出現し、 私たちのテクノロジーとの関わりを再構築します。 Meta のオープン性への取り組みは、AI モデルの共同改良と活用の前例となり、人工知能の未来を形作る新世代の AI イノベーションへの道を切り開きます。
注目の画像: クレジット
Source: LLaMA 2 vs GPT-4: AI レースにおけるメタの競争力はどれくらいですか? • TechBrifly
