ワシントン大学の研究者は、消音ピアノのビデオを分析するだけでリアルな音楽を再生できるAudeoというAIを作成しました。
今では、人工知能でさえ、サイレントビデオを分析するだけで、ピアノのあらゆる音をリアルな方法でデジタル再生することができます。
ワシントン大学の研究者チームは、モーツァルトやバッハなどのクラシック作曲家が音楽を演奏するピアニストのポールバートンの172,000フレームのビデオで以前に訓練された一種のインテリジェントソフトウェアを組み込んだ、Audeoと呼ばれる人工知能を作成しました。
AudeoAIは事実上ピアノを弾くことができます
サイレントビデオを分析するだけで、AudeoAIはどのキーが押されているかとその順序を注意深く知ることができます。 このようにして、個々の音符とその配置を決定します。 また、各キーがどれだけ強く弾かれ、どれだけ長く押されているかを感知することもできます。これにより、各音の強さや、その後に弾かれる音の音の下での長さを計算できます。 AIは、それだけでは不十分であるかのように、ピアノ特有の音響特性を理解することもできます。
このデータは、デジタルシンセサイザーが理解できる形式に変換され、そのシンセサイザーが音楽ファイルを再生すると、元のピアノの音に非常に近くなります。
その驚くべきテストの1つで、Audeo AIは、作曲家Bartonが独特の音楽を演奏しているときに、サイレントビデオを通じて曲を学ぶことができました。
次に、SoundHoundなどの音楽認識アプリケーションは、人工知能によって実行されたそのような作品を分析し、約86％の精度で音楽を認識できました。 比較のために、このアプリケーションが元のピアノオーディオを分析したとき、その認識精度は93％に上昇しました。
