Microsoft は、言語モデルの分野でエキサイティングな新しい開発、1 ビット LLM を展開しました。 この進歩、 BitNet のような研究プロジェクトからインスピレーションを得た、言語モデルの構築と最適化の方法における顕著な変化を示しています。 この革新の中心には、モデルのパラメーター (つまり重み) を表現する驚くほど効率的な方法があります。従来の 16 ビット浮動小数点 (FP16) とは対照的に、わずか 1.58 ビットを使用します。 以前のモデルで一般的だったアプローチ。
この種では初の 1 ビット LLM
吹き替え BitNet LLM b1.58、この先駆的なアプローチでは、各重みの潜在的な値が 3 つのオプションのみに制限されます。 -1、0、または +1。 パラメーターごとに必要なビット数のこの劇的な削減が、この画期的なテクノロジーの基礎を確立するものです。 驚くべきことに、ビット消費量が少ないにもかかわらず、BitNet b1.58 は、 従来のモデルと同等のパフォーマンス指標を提供します。 これには、同じサイズとトレーニング データセットを使用しながら、複雑さやエンドタスクのパフォーマンスなどの領域が含まれます。
1 ビット LLM とは何ですか?
生成AIシーンは日々進化していますそして、この動的な分野における最新の進歩は、1 ビット言語学習モデルの出現です。 意外に聞こえるかもしれませんが、この開発は、今日 LLM が直面している最も重要なハードルのいくつかに対処し、AI 分野を変革する可能性を秘めています。つまり、その巨大なサイズです。
通常、機械学習モデルの重みは、LLM であろうとロジスティック回帰のような単純なものであろうと、次のいずれかを使用して保存されます。 32 ビットまたは 16 ビット浮動小数点。 この標準的なアプローチは諸刃の剣です。 これにより、モデルの計算の高精度が可能になりますが、これらのモデルのサイズが非常に大きくなります。
この肥大化こそが、GPT のような重量級チャンピオンをローカル システムや運用環境にデプロイすることが物流上の悪夢となる理由です。 これらの浮動小数点の精度によって必要となる天文学的な数の重みにより、サイズが管理不能な大きさに膨れ上がります。
従来のモデルとは大きく異なり、 1 ビット LLM は、重みパラメータを表すために 0 または 1 の単一ビットのみを使用します。 この一見些細な調整は大きな意味を持っています。モデル全体のサイズが劇的に、場合によっては大幅に削減されます。
このようなサイズの縮小により、 はるかに小さいデバイス上の LLM、高度な AI アプリケーションをさらに実現 幅広いプラットフォームでアクセス可能で実行可能です。
BitNet LLM b1.58 に戻る
1.58 ビット LLM の本当に注目すべき点は、 費用対効果。 このモデルは、レイテンシの短縮、メモリ使用量の削減、スループットの向上、エネルギー消費の削減という点で優れており、計算集約型の AI の世界に持続可能なオプションを提供します。
Microsoftの1ビットLLM 優れているのはその効率性だけではありません。 これは、言語モデルのスケーリングとトレーニングに関する新たな視点を表し、最高のパフォーマンスと経済的実行可能性のバランスをとります。 これは、新しいコンピューティング パラダイムの夜明けと、これらのよりスリムで効率的なモデルを実行するために調整された特殊なハードウェアを作成する可能性を示唆しています。
BitNet LLM b1.58 に関する議論も始まる LLM で長いシーケンスをより効果的に管理するための興味深い可能性、さらなる研究の可能性のある分野を示唆しています 可逆圧縮技術を使用して効率をさらに高めます。
この注目すべきイノベーションの影で、Microsoft は最新の小規模言語モデルである Phi-2 でも話題を呼んでいます。 この 27 億パラメータの強力なツールは、理解と推論において卓越した能力を示しており、AI テクノロジの限界を押し上げるという Microsoft の継続的な取り組みのさらなる証拠となります。 1 ビット LLM の導入は、Phi-2 の成功とともに、言語モデル開発における革新と効率のエキサイティングな時代を浮き彫りにするでしょう。
注目の画像クレジット: Drew Beamer/Unsplash
Source: Microsoft が 1 ビット LLM を発表
