3D生成AI｜画像や文章から3Dモデルを作る仕組み

3D生成AIって、どうやって3Dモデルを作っているの？
写真や絵から、家具の3Dモデルを作りたい
AI で作った3Dモデルが、パースに使えるかを知りたい

画像1枚や短い文章から3Dモデルを作れる3D生成AIが、いくつも出ています。しかし、どう作られたかを知らないと、できた3Dモデルが何でできていて、どこを確かめればよいかが分かりません。

この記事では、3D生成AIが画像や文章から3Dモデルを作る、2つの作り方を解説します。作った3Dモデルの面の数、形の欠けと面の整え方、建築での使われ方も分かります。

3D生成AIは、画像や文章を入力にして、立体の形のデータ（3Dモデル）を作るAIです。

3D生成AIとは

画像や文章を入れると、メッシュ・3D Gaussians・NeRF などの形式の3Dモデルが出てくることを示した図 — 3D生成AIは、画像や文章から、メッシュ・3D Gaussians・NeRF などの形式の3Dモデルを作る

3D生成AIとは、画像や文章から3Dモデルを作るAIです。3Dモデルは、パースのシーンに置く建物や家具などの、立体の形のデータです。

出てくる3Dモデルのデータの形式は、AI によって違います。よく知られているのはメッシュで、頂点・辺・面でできた形です。

AI によっては、3D Gaussians（楕円体の粒の集まり）や NeRF で出すものもあります。NeRF は、ニューラルネットワークという計算の仕組みの中に空間を持つ形式です。

どの形式も、向きを変えて見られる立体のデータです。

3D生成AIの2つの作り方

画像生成AIを手がかりに3Dの形を直していく方法と、3Dを学んだAIで直接作る方法の2つを並べた図 — 画像生成AIを手がかりに形を直していく方法と、3Dを学んだAIで直接作る方法

平らな画像や文章の情報から、立体を作る方法は1つではありません。この記事では、次の2つの作り方を取り上げます。

画像生成AIを手がかりに形を求める
3Dを学んだAIで直接作る

画像生成AIを手がかりに形を求める

1つ目は、画像生成AIを手がかりに、3Dモデルを少しずつ直していく方法です。2022年に Google の研究者が発表した DreamFusion が、この作り方です。

DreamFusion は、作りたい物を書いた文章から、NeRF の形式の3Dモデルを作ります。最初の NeRF は、中身が決まっていない状態です。

その NeRF をいろいろな向きから描き、文章に合って見えるかを学習済みの画像生成AIで見ながら、形と見た目を何度も直します。画像生成AIは、ここでは画像を作るのでなく、見え方が文章に合うかを見る役です。

この作り方なら、3Dの学習データが要りません。当時は、文章と組になった3Dのデータも、3Dのデータを効率よく扱う仕組みも無かったため、3Dの学習データを使わない作りにしています。

3Dを学んだAIで直接作る

2つ目は、大量の3Dモデルで前もって学ばせたAIで、画像や文章から3Dモデルを直接作る方法です。2024年に Microsoft の研究者が発表した TRELLIS は、50万の3Dモデルで学ばせたAIです。

TRELLIS は画像か文章から3Dモデルを作り、3D Gaussians やメッシュなど、いくつかの形式で取り出せます。

TRELLIS の作り手の説明では、文章より画像から作るほうが、細かい3Dモデルになるとのことです。そのため勧めているのは、先に画像生成AIで画像を作ってから3Dにする手順です。

2025年の Hunyuan3D 2.0（Tencent のAI）は、形を作るAIと、表面の模様（テクスチャ）を作るAIの2つでできています。画像に合わせてまず形を作り、次にその形の模様を作る順です。

3Dモデルの面の数

Meshy・TRELLIS・TRELLIS.2・Stable Fast 3D の、面の数を決める設定と値を並べた表（2026年10月時点） — 面の数を決める設定と値は、道具ごとに違う（2026年10月時点の各道具の公式の説明）

3D生成AIで作った3Dモデルの面の数（ポリゴン数）は、道具と設定で大きく違います。ポリゴン数は、形をつくる面の数のことです。

たとえば Meshy は、3Dモデルを作るサービスです。その API（ほかのプログラムから使う窓口）では、作った形を目標の面の数くらいに作り直すとき、その数を 100〜300,000 で決められます。

何も決めないときの値は、2026年10月時点の説明で 30,000 です。同じ Meshy でも、はじめから決めた面の数で作る種類のAIの幅は 100〜15,000 で、何も決めないときは 4,000 です。

一方、TRELLIS の次の版の TRELLIS.2 では、開発元が示す書き出しの例で、面の数の目標を 1,000,000 にしています。

Stable Fast 3D（Stability AI の3D生成AI）の開発元の説明は、作る3Dモデルの面の数が比較的少ない、というものです。

決めないときの値や例の値だけを並べても、4,000 から 1,000,000 まで開きがあります。

パースに置く前に、3DCG のソフトで、できた3Dモデルの面の数を確かめておきましょう。

形の欠けと面の整え

形の欠け・歪み・穴・多すぎる面と、それぞれへの使う前の手当てを並べた表 — 作った3Dモデルに出る欠け・歪み・穴・多すぎる面と、使う前にすること

作った3Dモデルは、形が欠けたり歪んだりすることがあります。3Dモデルを作るAIを試した解説の記事に出てくるのは、足が1本ない、形が不自然に歪む、といった例です。

欠けた形は、面を整えるだけでは元に戻りません。欠けた所に形を足すのが難しい場合がある、とする解説の記事もあります。

メッシュに穴が開いている例も、解説の記事に挙がっています。こうした穴や多すぎる面への手当てとして記事が挙げるのは、穴埋め・面の数の削減・リトポロジー（面の並びを整理し直すこと）です。

パースに置く前に、3Dモデルを回して見て、欠けや穴が無いかを確かめましょう。

建築での3D生成AIの使われ方

壁・床・屋根・開口などの部品でできた3Dモデルと、頂点・辺・面でできたメッシュの3Dモデルを並べて違いを示した表 — 壁や床などの部品でできた3Dモデルと、頂点・辺・面でできたメッシュの3Dモデルの違い

ここまでは、家具のような1つの物を作る話でした。建築の道具には、写真や平面図から、壁や床などの部品でできた建物の3Dモデルを作るものもあります。

その1つが、Chaos（レンダラーの V-Ray などを作る会社）の Veras です。Veras は、Revit・Rhino・SketchUp などの設計ソフトと組み合わせて使う、AI で画像を作る道具です。

2026年9月の Veras 5.2 で、Veras はAIで3Dモデルも作れるようになりました。入力に使えるのは、写真・スケッチ・レンダリングした画像・文章・平面図です。

Veras の3Dモデルは、壁・床・屋根・開口・ドア・窓などの部品でできていて、メッシュではありません。AI は入力の画像と見比べて3Dモデルを直し、決めきれない所には「?」の印を付けます。

Revit・SketchUp・Rhino に入れると、壁や窓などが、それぞれのソフトで直せる形で入ります。これは 2026年10月時点の製品の機能です。

3D生成AIで作ったモデルは、形と面の数を確かめて使おう

3D生成AIの意味・2つの作り方・面の数・形の欠けと面の整え・建築での使われ方の5つを、1つずつ並べた表 — 3D生成AIの意味・2つの作り方・面の数・形の欠けと面の整え・建築での使われ方のまとめ

3D生成AIは、画像や文章から、向きを変えて見られる3Dモデルを作るAIです。この記事で解説したことは、次の5つです。

出てくる3Dモデルの形式は、メッシュのほか、3D Gaussians や NeRF もある
画像生成AIを手がかりに形を直していく方法と、3Dを学んだAIで直接作る方法がある
面の数は道具と設定で大きく違うので、パースに置く前に確かめる
形の欠け・歪み・穴が出ることがあり、欠けは面を整えるだけでは直らない
建築では、写真や平面図から、壁や床などの部品でできた3Dモデルを作る道具がある

AI で作った家具をパースに置くときは、まず3Dモデルを回して形を見て、面の数も確かめてみてください。