ホワイトハウス科学顧問マイケル・クラツィオス氏は、中国企業ムーンショット社が中国への輸出が禁止されているチップを使用しながら、アンスロピック社のフェイブルLLMをコピーしてキミK3モデルを構築したと主張した。クラツィオス氏は「米国独自の技術を盗み、米国の研究を弱体化させることを目的とした大規模かつ秘密の工業蒸留は容認できない」と述べた。 AI分野における懸念の中、中国の無差別級モデルの禁止に関する議論が続いている。
スコット・ベッセント財務長官はクラツィオス氏を支持し、「中国モデルの多くに米国の大言語モデルの透かしが見つかっており、これは容認できない」と主張した。これらの透かしの性質は依然として不明であり、財務省は問い合わせに応じなかった。
専門家らは、蒸留だけでキミ K3 の高度な機能を説明できるという考えに懐疑的な姿勢を表明した。ロード研究所の研究者ブレイデン・ハンコック氏は、「フェイブルの厳密な蒸留に続いて、これほど強力で迅速なモデルが得られるとは思えない」と述べ、フェイブルが 7 月 1 日にリリースされてからの期間が短いことを挙げ、このような複雑なデータを 2 週間以内に蒸留することの難しさを強調した。
アレンAI研究所のネイサン・ランバート氏は、中国のモデルがより洗練されるにつれて、蒸留の有効性が低下しているようだと付け加えた。同氏は、現在のトレーニング方法はますます強化学習に傾いており、これには蒸留よりも大規模で複雑なプロセスが含まれると指摘しました。
通常、蒸留では、ラボが体系的に LLM にクエリを実行して、トレーニング後のデータを生成する必要があります。これには、モデルが別のモデルの機能を模倣する教師付き微調整が含まれる場合があります。しかし、Lambert 氏は、モデルがより複雑になるにつれて、教師あり微調整の利点が薄れると警告しました。
Anthropic は以前、Moonshot、DeepSeek、MiniMax が自社のモデルを抽出したとして非難し、機能抽出を示す異常なクエリ パターンを検出したと主張しました。対照的に、SpaceXAI が OpenAI モデルを抽出して Grok を作成したと証言したイーロン・マスク氏が指摘したように、蒸留の慣行は AI 業界全体で認識されています。
クラツィオス氏は申し立ての中で、ムーンショット社がタイで中国への輸出が禁止されている高度なNVIDIAチップとGB300サーバーを入手したとも主張した。ジョージタウンのセキュリティ・新興技術センターの研究員サム・ブレスニック氏は、そのような禁止されたチップを扱う闇市場の存在を指摘した。
ブレスニック氏は、重要なトレーニング業務に関与するデータセンターに対して「顧客認識」法を制定するよう求めた。しかし、バイデン大統領の商務省が提案した連邦規則は、2024年までにそのような規則を制定することを目指しており、進捗は停滞している。
先端チップの輸出業者は、承認された目的での使用を保証する必要があるが、先端チップを中国に密輸したとしてスーパーマイクロ創設者が最近起訴されたことで浮き彫りになったように、この分野での執行は依然として課題である。
