![アントロピックは、より包括的な新世代のAIベンチマークに資金を提供したいと考えている アントロピックは、より包括的な新世代のAIベンチマークに資金を提供したいと考えている](https://techbriefly.com/wp-content/uploads/2024/07/Anthropic_03.jpg)
Anthropic は、自社の Claude のような生成モデルを含む AI モデルのパフォーマンスと影響を評価するための新しいベンチマークの開発に資金を提供する新しいプログラムを開始します。
同社の新たな動きは、AI モデルの評価方法を一新し、現実世界のアプリケーションを正確に反映し、AI の安全性を確保するベンチマークを作成することを目指しています。
AIベンチマークの歴史的概要
AI ベンチマークは、モデルのパフォーマンスを評価する上で重要な役割を果たします。従来、画像認識や自然言語処理などのタスクを測定します。ただし、生成モデルなどのより高度なシステムには、より包括的で現実的なベンチマークが必要です。従来のベンチマークでは、実際のアプリケーションの複雑さを捉えることができず、最新の AI テクノロジーの課題を反映していません。
![アントロピックは、新しい、より包括的な世代のAIベンチマーク2に資金を提供したいと考えている。 アントロピックは、より包括的な新世代のAIベンチマークに資金を提供したいと考えている](https://techbriefly.com/wp-content/uploads/2024/07/Anthropic.jpg)
なぜ Anthropic はこのような取り組みを始めたのでしょうか?
Anthropic は、新しい包括的な評価方法に資金を提供することで、既存のベンチマークの欠点に対処することを目指しています。同社は AI の安全性と社会的影響に焦点を当て、高度な機能を測定する基準を開発したいと考えています。このプログラムは、安全性に関連し、現実的で十分に厳しいベンチマークを作成することを目指しています。
このプログラムは、AI の安全性評価、高度な機能と安全性のベンチマーク、評価のためのインフラストラクチャ、ツール、方法という 3 つの主要領域に焦点を当てます。これらの領域に取り組むことで、Anthropic はスケーラブルですぐに使用できるベンチマークを作成することを目指しています。
プログラムの主な重点分野
主な焦点領域の 1 つは、AI セキュリティ評価です。これらの評価では、サイバー攻撃の実行など、セキュリティに重大な影響を与えるタスクを測定します。もう 1 つの焦点領域は、高度な専門知識を必要とする複雑なタスクのパフォーマンスを測定する高度な機能とセキュリティのベンチマークです。3 つ目の領域は、評価を作成するためのインフラストラクチャ、ツール、および方法の開発です。
効果的な評価の原則
効果的な評価は厳格かつ有意義なものでなければなりません。評価は十分に難しいものでなければならず、AI モデルのトレーニング データには含めないでください。効率性とスケーラビリティは重要な原則です。評価はドメイン エキスパートからの意見を取り入れて開発する必要があります。透明性と複製には、適切なドキュメントと再現性が不可欠です。
![アントロピックは、より包括的な新世代のAIベンチマーク3に資金を提供したいと考えている。 アントロピックは、より包括的な新世代のAIベンチマークに資金を提供したいと考えている](https://techbriefly.com/wp-content/uploads/2024/07/Anthropic_02.jpg)
申請と審査のプロセス
Anthropic は、新しい基準の提案を提出および審査するための構造化されたプロセスを確立しました。関心のある組織は、申請フォームから提案を提出できます。同社は資金援助を提供し、プロジェクトのニーズに合わせた資金調達オプションを提供します。
選ばれた提案には、Anthropic の分野の専門家と協力する機会が与えられます。この協力により、評価は高い基準で開発され、AI の安全性とパフォーマンスに関する最も差し迫った課題に対処できるようになります。
次世代の AI ベンチマークに資金を提供する Anthropic の取り組みは、AI モデルの評価を改善することを目的としています。このプログラムは、既存のベンチマークの限界に対処することで、より包括的で有意義な評価を作成することを目指しています。サードパーティ組織とのコラボレーションとドメイン エキスパートのサポートを通じて、Anthropic は AI の安全性の分野を向上させ、AI エコシステムに貴重なツールを追加したいと考えています。
注目の画像クレジット: vecstock / Freepik