OpenAI Point-E による 3D モデル ジェネレーターは、AI の分野を揺るがす次のイノベーションになる可能性があります。 テキスト プロンプトから 3D オブジェクトを生成する機械学習システムである Point-E は、今週 OpenAI によって一般公開されました。
コード ベースと一緒に公開された記事では、Point-E が単一の Nvidia V100 GPU で 1 ～ 2 分で 3D モデルを作成できると主張しています。
従来の意味では、OpenAI Point-E は 3D オブジェクトを生成しません。 代わりに、3D 形状を反映する空間内のデータ ポイントの個別のコレクションであるポイント クラウドを作成します。 したがって、遊び心のある略語です。 計算の観点からすると、点群は作成が簡単ですが、オブジェクトのきめの細かい形状やテクスチャをキャプチャできないため、現時点では OpenAI Point-E の大きな欠点となっています。
OpenAI Point-E チームは、この制限を回避するために、クラウドをメッシュに変換する追加の AI システムをトレーニングしました。 ただし、レポートでは、モデルが特定のアイテムの詳細を欠いていることがあり、ブロック状または変形した形状になることがあると指摘しています。
OpenAI Point-E は数秒で 3D モデルを生成できます
OpenAI Point-E は、スタンドアロン モデルであるメッシュ生成モデルに加えて、テキストから画像へのモデルと画像から 3D へのモデルの 2 つのモデルで構成されます。 テキストから画像へのモデルは、OpenAI 独自の DALL-E 2 や Stable Diffusion などのジェネレーティブ アート システムと同様に、タグ付き画像でトレーニングされ、言葉と視覚的概念の関係を理解しました。 一方、画像から 3D へのモデルは、3D オブジェクトと組み合わせた一連の写真を供給することによって、2 つのモデルの間で効果的に変換するように教えられました。
Point-text-to-image E のモデルは、「3D プリントされた歯車、単一の歯車、直径 3 インチ、厚さ 0.5 インチ」などのテキスト プロンプトから合成レンダリングされたアイテムを作成し、それを image-to にフィードします。 -ポイント クラウドを作成する 3D モデル。
OpenAI の研究者によると、OpenAI Point-E は、「数百万」の 3D オブジェクトと関連するメタデータのデータセットでモデルをトレーニングした後、一般的に単語プロンプトに一致する色付きの点群を生成できました。 完璧ではありません。 場合によっては、Point-image-to-3D E のモデルが text-to-image モデルからの画像を解釈できず、テキスト プロンプトに対応しない形状になることがあります。 それでも、OpenAI チームは、これまでの最先端技術よりも桁違いに高速であると主張しています。
「私たちの方法は、最先端の技術よりもこの評価で劣っていますが、わずかな時間でサンプルを生成します。」
「これにより、特定のアプリケーションでより実用的になるか、より高品質の 3D オブジェクトの発見が可能になる可能性があります。」
-OpenAI チーム
OpenAI Point-E は、プロジェクトを設計するための強力なツールになる可能性があります
OpenAI Point E の正確なアプリケーションは何ですか? ただし、OpenAI の研究者によると、Point-E によって作成された点群は、たとえば 3D 印刷を通じて実際のオブジェクトを作成するために利用される可能性があります。 もう少し洗練されれば、メッシュ変換モデルを追加することで、ゲームやアニメーションの制作プロセスでも使用できるようになるかもしれません。
3D オブジェクト生成市場に参入するのは最近のビジネスかもしれませんが、以前に述べたように、OpenAI は決して最初のものではありません。 Google が 2021 年に明らかにしたジェネレーティブ 3D テクノロジーである Dream Fields のより発展したバージョンは、今年初めに DreamFusion という名前でリリースされました。
Dream Fields とは対照的に、DreamFusion は事前のトレーニングを必要としません。 したがって、3D データがなくてもオブジェクトの 3D モデルを作成できます。 現在、2D アート ジェネレーターが注目されていますが、モデルを合成する AI は、次の主要な産業破壊者になる可能性があります。 3D モデルは、科学、インテリア デザイン、建築、映画、テレビの分野で頻繁に利用されています。 エンジニアはモデルを新しい機器、車両、構造物の設計として利用し、建築会社はモデルを使用して提案された建物や景観を実証します。
