麻痺のある個人の画期的な進歩の中で、カリフォルニア大学デイビス校（UC Davis）の研究者は、最小限の遅延でコンピューターを介して麻痺した男性が通信し、「歌う」ことができる脳コンピューターインターフェイス（BCI）を開発しました。
調査BCIシステムは、筋萎縮性側索硬化症（ALS）に苦しむ参加者についてテストされました。このテクノロジーは、物理的生産の原因となる脳領域に外科的に移植された4つの微小電極アレイを介して、生の神経信号をキャプチャします。低遅延処理とAI駆動型デコードモデルと組み合わせることにより、システムは参加者のスピーチをリアルタイムで合成します。重要なのは、システムは思考を読むのではなく、筋肉を使用して話そうとするときに生成された脳信号を翻訳します。
合成されたスピーチは、ALSの開始前に記録されたオーディオサンプルでトレーニングされた音声クローニングアルゴリズムのおかげで、参加者の自然な声に非常に似ています。信号の獲得から音声生成まで、プロセス全体が印象的な10ミリ秒以内に発生し、吸気に近い通信を可能にします。
BCIはまた、参加者がいつ歌おうとしているかを認識する能力を実証し、3つの意図したピッチの1つを特定し、声を調整してボーカルメロディーを合成しました。このテクノロジーは、「AAH」、「OOH」、「HMM」などの音を妨害しようとする試みを再現し、文が質問か声明であるかを判断し、特定の単語にストレスがかかっていることを識別します。研究チームは、システムがAIデコーダーのトレーニングデータに含まれていない構成された単語を正常に再現できると報告し、以前のBCIシステムと比較してはるかに表現力のある合成された音声出力に貢献しました。
研究論文の上級著者であるSergey Staviskyは、重要性を強調し、瞬時の音声合成により、ユーザーは会話にもっと含まれることができると述べました。この研究に関与していない計算神経科学者であるクリスチャン・ヘルフは、「スピーチBCISの聖杯」と説明しました。 UC Davisの研究者は、研究を拡大し、さまざまな状態のために音声喪失を経験するより多くの被験者とこれらの結果を複製し、麻痺のある個人のコミュニケーションと生活の質への道を提供します。
