Apple 研究者チームは、LGTM (Less Gaussians, Texture More) として知られる高解像度 3D シーン レンダリングのための新しいフレームワークを開発しました。このフレームワークは、高解像度に対応する既存のフィードフォワード 3D ガウス スプラッティング手法の非効率性に対処します。
解像度が増加するにつれて、従来のフィードフォワード方式ではコストが法外に高くなり、高解像度の 3D シーン生成の実現が妨げられます。 LGTM は、ジオメトリの複雑さをレンダリング解像度から分離することで、既存のシステムの機能を強化し、詳細なテクスチャを追加しながらジオメトリをより単純化できるようにすることを目指しています。
LGTM フレームワークは、幾何学的構造の上にテクスチャ予測を重ねることにより、以前に確立されたフィードフォワード手法に基づいて構築されています。研究者は、高解像度のグラウンド トゥルースに対して検証された低解像度の画像を使用してモデルをトレーニングし、生成されたジオメトリが正確であることを確認しました。さらに、高解像度画像からの詳細なテクスチャに焦点を当てた 2 番目のネットワークにより、システムは視覚的に豊かな結果を生成できます。
この技術革新は、合計約 2,300 万ピクセルのディスプレイを搭載した Apple Vision Pro ヘッドセットに大きな影響を与える可能性があります。現在のフィードフォワード手法は、このような高解像度では限界に直面しており、シーンを迅速かつ正確に生成する際に計算上のボトルネックが発生します。 LGTM は、高解像度のシーン レンダリングを必要とするアプリケーションで、よりスムーズなパフォーマンスとより鮮明なビジュアルを促進します。
LGTM を導入することで、Apple は処理要求を軽減しながら、より没入型の環境と改善されたパススルー エクスペリエンスをユーザーに提供できる可能性があります。 LGTM プロジェクト ページでは、NoPoSplat、DepthSplat、Flash3D などのデモンストレーション手法を提供し、以前の手法と比較して強化された結果を示しています。
プロジェクトのサンプル ビデオと画像は、より豊かな詳細と高解像度のグラウンド トゥルースに近い結果を提供する LGTM の能力を示し、実際のアプリケーションにおける潜在的な利点を示しています。
