昨年12月、Googleフォトは素晴らしい新機能であるシネマティックフォトを追加しました。 最近のハイライトセクションをクリックすると、アプリケーションから自動的に生成できます。
シネマティックフォトはGoogleフォトでどのように機能しますか？
Googleのブログから、写真に動きを与えて、目を引く3D効果を持たせる方法を説明したいと考えていました。 いつものように、彼らはニューラルネットワークと計算の専門知識を使用します。
Googleによると、映画のような写真は、カメラの動きと3D視差の両方をシミュレートすることで、ユーザーに「写真を撮った瞬間の没入感」を再現させたいと考えています。 2D画像を3D画像に変換するにはどうすればよいですか？
Googleは、Pixel 4sで撮影した写真でトレーニングされたニューラルネットワークを使用して、単一のRGB画像で被写界深度を推定します。
Googleは、ポートレートモードや拡張現実の場合と同様に、映画の写真には3D構造に関する情報を提供するための深度マップが必要であると説明しています。 デュアルカメラを備えていない携帯電話でこの効果を実現するために、畳み込みニューラルネットワークをトレーニングして、単一のRGB画像から深度マップを予測しました。
1つの視点（写真の平面）だけで、オブジェクトの相対的なサイズ、写真の遠近法、ぼかしなどの単眼の手がかりで写真の奥行きを推定できます。 この情報をより完全にするために、Pixel 4のカメラで収集されたデータを使用して、Googleのチームがプロのカメラで撮影した他の写真と組み合わせます。
この手法は、Pixelポートレートモードの手法と似ています。画像が分析され、セグメント化され、背景が正常に分離されると、背景をシフトすることで動きがシミュレートされます。 これは非常に複雑です。いくつかの誤って解釈されたピクセルが最終結果を台無しにする可能性があるため、写真に対していくつかの修正と分析が必要になるためです。