LLM の能力をストリートファイトの試合で比較しますか?

象徴的なゲーム、ストリートファイターの古典的なパンチとキックの衝突が魅力的な展開を迎えました。通常、プレイヤーは自分のスキルを互いに戦ったり、AI の対戦相手と戦ったりします。しかし、最近の実験では、ボタンを横切るのは人間の指ではなく、人工知能 (AI) が制御していました。

14 の異なるラージ言語モデル (LLM) が、なんと 314 回のストリートファイター III マッチで対決しました。技術的な話に慣れていない人のために説明すると、LLM は人間のようなテキストを理解して生成できる高度な AI システムです。

これらは、大量の書き言葉を分析した超強力なチャットボットだと考えてください。

では、頭脳明晰なチャットボットはどのようにして格闘ゲームのチャンピオンになったのでしょうか?

Amazonエンジニアのバンジョーおばよみ 究極のAI対決を設定します。

彼のやり方は次のとおりです。

AI アリーナ: Obayomi は、LLM Colosseum と呼ばれるオープンソースソフトウェアとエミュレータを使用して、クラシックな 1997 バージョンのストリートファイター III を実行しました。
出場者: 14 人の異なる LLM がリングに上がり、コードを投下する準備が整いました。
頭脳vs腕力: LLM コロシアムは、ゲームの解説者のように情報を収集し、LLM の健康状態と試合のステータスを追跡しました。その後、LLM はどの動きを使用するか戦略的な決定を下し、ソフトウェアがゲーム内でそれを実行しました。

想像できませんでしたか？これは、研究の GitHub ページからの、Mistral 7B 対 Mistral 7B Street Fighter III の試合です。

埃、というかピクセルが落ち着いた後、勝者が現れました。クロード 3 ハイクと呼ばれる言語モデルがトップに上り詰め、その予想外のストリートファイターの実力を示しました。この AI は詩を生成することだけが得意ではないことが判明しました。

LLM がどのようにして格闘ゲームのコンボを実現できるのか疑問に思いませんか? 分析してみましょう:

ゲームの知識が鍵: LLM は、戦略ガイドやディスカッションフォーラムを「読んで」、ストリートファイター III の動き、テクニック、弱点について大量に学んだ可能性があります。
練習は完璧を作る: 他のプレイヤーと同様に、LLM はおそらく試行錯誤や試合の分析を通じて向上します。
マインドゲームが重要: 古典的な格闘ゲームであっても、相手の動きを予測し、対抗戦略を立てる能力は、勝利を確実にするのに役立ちます。