Reflection 70B は、大手企業ではできないことを実行し、自らの失敗から学びます。オープンソースの言語モデルを備えたこの AI は、妄想に対する対抗策を見つけたのかもしれません。
共同創設者兼 CEO の Matt Shumer 氏が率いるスタートアップ HyperWrite が立ち上げた Reflection 70B は、Meta の Llama 3.1-70B Instruct をベースにしています。このモデルが他のモデルと異なるのは、AI コミュニティの注目を集めている独自の自己修正機能です。
世界トップクラスのオープンソースモデル、Reflection 70B を発表できることを嬉しく思います。
LLM が自分の間違いを修正できるように開発された手法である Reflection-Tuning を使用してトレーニングします。
405B は来週登場します。世界最高のモデルになると期待しています。
構築済み グレイヴAI。
続きを読む
: pic.twitter.com/kZPW1plJuo
— マット・シューマー (@mattshumer_) 2024年9月5日
Reflection 70Bの優れた特徴
シュマー氏は、X で Reflection 70B の登場を発表し、オープンソース市場の他のモデルに対するその優位性を強調しました。同氏は、AI は現在最高のオープンソース AI モデルであり、Meta の Llama シリーズを含む先行モデルを凌駕していると自信を持って述べました。MMLU や HumanEval などのベンチマークでも Reflection 70B の高性能が確認され、オープンソースおよび商用の代替品よりも優れた結果を示しました。
Reflection 70Bがこのような結果を達成した理由は、競合他社にはない機能であるエラーを検出して修正する機能です。これはAIにおける画期的な機能です。言語モデルは「幻覚を起こす”と質問したり、誤った情報を生成したりしても、シュマー氏の AI は最終的な回答を出す前にエラーを認識することができます。シュマー氏はこのコンセプトについて何ヶ月も考えてきましたが、この新しいモデルによってそれが現実のものとなりました。
Reflection 70B は、トップのクローズドソース モデル (Claude 3.5 Sonnet、GPT-4o) にも引けを取りません。
これは、（少なくとも）MMLU、MATH、IFEval、GSM8K の分野ではトップの LLM です。
テストされたすべてのベンチマークで GPT-4o を上回ります。
これは Llama 3.1 405B を圧倒します。全然及ばないです。 pic.twitter.com/win7cHUOob
— マット・シューマー (@mattshumer_) 2024年9月5日
Reflection 70Bの名前は、そのイントロスペクション機能を表しています。反映する” は、モデルの精度をチェックするために推論を実行します。このデザインには、推論とエラー修正を強化する特別なアイコンが含まれており、ユーザーはモデルをより効果的に操作できます。これらの推論プロセスは、リアルタイムの修正を可能にする特別なラベルの形で確認できます。
その有効性を証明するために、 ユーザーはReflection 70Bと対話できる デモサイトですが、サイトへのアクセスに問題があります。 渋滞9.11と9.9のどちらが大きいかを判断するなどのタスクは、モデルの精度を試すように設計されている。多くのAIシステムがこのようなクエリに苦労する中、Reflection 70Bは、 60秒以上遅延があるにもかかわらず、このレベルの推論により、精度が重要なユースケースではこのモデルが際立っています。
Reflection 70Bは始まりに過ぎません
Reflection 70B は、拡大を続けるシリーズの最初のモデルです。さらに大型のモデルである Reflection 405B が間もなくリリースされます。Reflection モデルに対するシュマー氏の野心的なビジョンには、OpenAI の GPT-4 などのクローズドソース モデルの能力を超えることが含まれています。Reflection 405B は、最高の独自モデルを上回り、オープンソース AI が達成できる限界を押し上げると報告されています。
しかし、Reflection 70B は単なる独立したプロジェクトではありません。シュマー氏は、このモデルを HyperWrite のライティング アシスタント プラットフォームに統合する計画も発表しました。メールの下書きやテキストの要約などを支援する Chrome 拡張機能である HyperWrite は、すでに数百万人のユーザーを抱えています。このプラットフォームへの Reflection 70B の今後の統合により、ユーザーは新たなレベルの精度とカスタマイズ性を手に入れ、さらに高度な AI を活用したタイピングが可能になります。
迅速かつ効率的なトレーニングプロセス
Reflection 70B のトレーニングは、AI データセットを専門とするスタートアップ企業 Glaive との提携により、長くて面倒なプロセスではありませんでした。Glaive のプラットフォームはユースケース固有のデータセットを作成し、言語モデルのトレーニングをより簡単かつ迅速にします。Reflection 70B の場合、このアプローチにより、モデルはわずか 3 週間で 5 回トレーニングされました。これは、Glaive の合成データ生成システムを使用することで可能になった偉業です。
はっきりさせておきたいのですが、 グレイヴAI これがうまく機能した理由です。
合成データを生成するために彼らが与える制御は異常です。
今後私が作るほぼすべてのモデルにこれらを使用するつもりです。あなたもそうすべきです。 https://t.co/I789UIa5Yg
— マット・シューマー (@mattshumer_) 2024年9月5日
Sahil Chaudhary 氏によって設立されたこの会社は、モデルを迅速かつコスト効率よくトレーニングできる高品質のデータセットを提供することを目指しています。小規模なモデルのトレーニングにおける同社の成功は、過去に実証されています。3D パラメーター化モデルは、特定のタスクにおいて多くの大規模なオープンソースの競合製品を上回りました。
Reflection 70B の動作
このモデルの開発は、2020年にOtherside AIとして設立されたHyperWriteにとって、これがいかに重要であるかを示しています。もともとニューヨーク州ロングアイランドに拠点を置いていたHyperWriteは、小さなAIライティングアシスタントから、 200万人のユーザー初期の成功により、シュマーと共同創設者は ジェイソン・クーパーバーグ 2023年にフォーブスの「30歳未満の30人」リストに選ばれる。
2023年3月、HyperWriteは 280万ドル 同社は Madrona Venture Group などの投資家から資金提供を受けており、これが同社の成長を支えています。フライトの予約や LinkedIn での求職者検索などのタスクを実行できるブラウザ アシスタントなどの新機能により、HyperWrite は AI を活用したパーソナル アシスタンスの最先端を維持しています。Reflection 70B の統合により、これらの機能が強化され、AI 業界における HyperWrite の地位がさらに強固になると期待されています。
Reflection 70B は、AI に対する私たちの考え方を変えるでしょう。他のモデルでは実現できないような精度と推論の組み合わせです。このモデルは高精度が求められるタスクに役立ちますが、その潜在的な用途ははるかに広範囲です。近々リリースされる Reflection 405B は、Shumer 氏と彼のチームがまだ懸命に取り組んでいることを示しています。HyperWrite がプラットフォームを改善し、新しい機能を作成するにつれて、Reflection シリーズはおそらく非常に重要になるでしょう。Reflection 70B では、AI コミュニティとユーザーがこのモデルの独自の機能にどのように反応し、将来のモデルがその基盤の上にどのように構築されるかを見るのが興味深いでしょう。
注目の画像クレジット: DC Studio / Freepik
Source: Reflection 70Bは、自分の間違いを修正できるAIです
