1. 建築知識
  2. パース3DCG
  3. 建築3DCGパースの画像生成AI
  4. ControlNet|線・深度・姿勢の画像で形と配置を寄せる仕組み

ControlNet|線・深度・姿勢の画像で形と配置を寄せる仕組み

編集部 読了 約9分

  • ControlNet って、何をしているの?
  • 画像生成AIでパースを作ると、窓の位置や部屋の形が毎回変わってしまう
  • ControlNet で、建物の形をどこまで保てるのかを知りたい

画像生成AIは、プロンプト(画像を作るときに入れる文章)だけで構図や形を指定するのが苦手です。

そこで、建物や部屋の形を保つのに ControlNet が使われていますが、何をどこまで寄せられるのかは分かりにくい所です。

この記事では、ControlNet の仕組みと、線・深度・姿勢の条件の画像の違いを解説します。

同じレンダリングから作った作例で、強さの違い・建物の形を保つ使われ方・T2I-Adapter との違いも確かめます。

ControlNet は、形と配置を画像で伝えて、画像生成AIの出す画像をそこへ近づける仕組みです。

ControlNetとは

元のレンダリングから取った線の画像と、プロンプトだけで作った画像、線の条件を加えて作った画像を並べた図
プロンプトだけでは部屋の形も配置も変わり、線の条件を加えると窓・ソファ・テーブルの位置が残った(Stable Diffusion 1.5)

ControlNet(コントロールネット)とは、線・深度・姿勢などの画像を条件として加え、形と配置を寄せる仕組みです。条件の画像は、形や配置を伝えるために、プロンプトと一緒に入れる画像です。

2023年の論文で、学習済みの画像生成AIのモデルに、形や配置の条件を加える方法として発表されました。

作例は、Blender で作った部屋のレンダリング(3DCG で計算した画像)から線を取り、Stable Diffusion 1.5 で1回ずつ作りました。

同じプロンプトとシード(初めのノイズを決める数)で、条件のあり・なしを比べています。

プロンプトは、明るい居間・灰色のソファ・木のテーブル・大きな窓・木の床・観葉植物・吊り下げの照明を並べた英語の文です。

プロンプトだけでは、部屋の形も家具の配置もレンダリングと違いました。線の条件を加えると、窓・ソファ・テーブルの位置が残りました。

学習済みのモデルを固定して写しを足す

条件の画像を受ける写しを、固定した学習済みのモデルに並べて足し、画像を作る仕組みの図
ControlNet は学習済みのモデルを固定し、条件の画像から学ぶ写しを横に足す

ControlNet の仕組みは、学習済みのモデルの重みを固定したまま、条件の画像から学ぶ写しを横に足すことです。重みとは、画像生成AIのモデルの中で計算に使う、学習で決まる数値を指します。

論文は、学習済みのモデルの部分を固定し、それを写した学習できる写し(コピー)を作ると書いています。学習のときに学ぶのは写しのほうで、学習済みのモデルの重みは変わりません。

使うときは、写しが条件の画像を受け取り、学習済みのモデルと並んで働きます。

Diffusers(画像生成AIを動かす Python の道具)は、プロンプトはそのまま使え、モデルを学習し直さずに配置を制御できると説明しています。

線・深度・姿勢の条件の画像

同じレンダリングから作った線の画像と深度の画像、それぞれを条件にして作った画像の4枚
線(Canny)と深度の条件の画像と、それぞれで作った画像。どちらも配置は残り、仕上げは変わった

ControlNet の論文は、線・深度・領域の分け(画像を領域ごとに塗り分けた図)・人の姿勢などを、条件の例に挙げています。

条件の画像は、元の画像から線や深度を取り出す前処理で作ります。作例では、ComfyUI(画像生成AIを動かすソフト)の前処理の機能を使いました。

この記事で取り上げる条件の画像は、次の3つです。

  • 線
  • 深度
  • 姿勢

線

線の条件は、元の画像の輪郭や直線を、線の画像にしたものです。論文の例には、輪郭の線を取り出す Canny や、直線を取り出す M-LSD などがあります。

作例の線の画像は、レンダリングから Canny で取りました。窓の枠・ソファ・テーブルの輪郭が白い線になり、作った画像はその線に沿った部屋になっています。

深度

深度の条件は、カメラからの奥行きを、明るさで表した画像です。作例の深度の画像は Depth Anything V2 で取り、手前のテーブルやソファほど明るく、奥の壁ほど暗くなっています。

線が輪郭を伝えるのに対し、深度は奥行きを伝える条件です。作例では、深度だけでも部屋の形と家具の配置が残りました。

姿勢

姿勢の条件は、画像の中の人の姿勢を伝える画像です。論文の条件の例にも、人の姿勢(Human pose)があります。

作例の部屋には人がいないので、姿勢の作例は作っていません。

ControlNetの強さと複数の条件

深度の ControlNet の強さを 0.3・0.6・1.0 にして作った3枚
強さ 0.3 では窓の形が変わり、0.6 と 1.0 では元の配置に近かった

ControlNet は、条件の効き方の強さを調整できます。Diffusers は、強さの値で、条件が生成をどれだけ強く導くかを変えられると説明しています。

作例では、同じ深度の画像で強さだけを変えました。0.3 では窓がカーテンのある別の形の窓になり、部屋の様子も大きく変わっています。

0.6 は 1.0 に近い配置で、1.0 では部屋の形と家具の配置が残りました。生成した画像がどの強さでどこまで寄るかは、モデルと条件の画像しだいです。

条件は複数を重ねても使えます。論文は1つでも複数でも使えると書き、Diffusers は Canny と深度を重ねる例を挙げています。

建物と部屋の形を寄せる使われ方

元のレンダリングと深度の ControlNet で作った画像を並べ、残ったものと変わったものを書き出した図
深度で寄せると部屋の形と家具の配置は残り、壁と天井の仕上げ・窓の外は変わり、元に無い額が加わった

建築では、ControlNet は直線と深度で、建物や部屋の形を保つのに使われています。

ControlNet の開発者の公式の作例にも、直線を取り出す M-LSD で作った部屋(room)と建物(building)の画像があります。

ControlNet の 1.1 版の M-LSD は、直線が16本より多い画像を30万枚足して学習したものです。

解説の記事も、M-LSD は建物や部屋、室内の背景に役立つと書いています。建築の手描きのスケッチを、適切に設定した ControlNet で速く画像にできるとする研究もあります。

形と配置は3DCG のレンダリングで決め、見た目は画像生成AIに描かせる、という組み方です。ただし、プロンプトに書いていない仕上げや細部は、モデルが描きます。

作例でも、部屋の形と家具の配置は残りましたが、壁と天井の仕上げ・窓の枠の色・窓の外は変わりました。元に無い額が加わるという、頼んでいない変化もありました。

ControlNet で作った画像も、窓の数や位置を元の図面や3Dモデルと見比べて確かめましょう。

ControlNetと同じ目的のT2I-Adapter

同じ深度の画像から ControlNet と T2I-Adapter で作った2枚と、2つを比べた表
T2I-Adapter でも配置は残り、細部は ControlNet と違った。2026年10月時点で Diffusers は T2I-Adapter を Legacy に分類

T2I-Adapter(ティー・ツー・アイ・アダプター)は、ControlNet と同じ目的の、軽いアダプターです。アダプターは、学習済みのモデルに足す小さな部品です。

2023年の論文で、色や構造を柔軟に正確に制御するための、単純で軽いアダプターとして出されました。

開発元の README の表では、Stable Diffusion 1.4/1.5 の重みの数が約8億6,000万です。T2I-Adapter は、約7,700万です。

作例では、同じ深度の画像を T2I-Adapter にも入れました。部屋の形と家具の配置は残り、天井や敷物などの細部は ControlNet と違うものになりました。

2026年10月時点の Diffusers は、T2I-Adapter を古い方法(Legacy)に分類しています。形や配置を制御する新しい作業に勧めているのは、ControlNet です。

ControlNetで形と配置を寄せてパースを作ろう

ControlNet の意味・仕組み・条件の種類・強さ・建物と部屋・T2I-Adapter の6つを、1つずつ並べた表
ControlNet の意味・仕組み・条件の種類・強さ・建物と部屋・T2I-Adapter のまとめ

ControlNet は、画像で形と配置を伝え、生成する画像をそこへ近づける仕組みです。この記事で解説したことは、次の6つです。

  • 線・深度・姿勢などの画像を条件として加え、形と配置を寄せる
  • 学習済みのモデルは固定し、条件の画像から学ぶ写しを横に足す
  • 条件の画像には、線(Canny・M-LSD など)・深度・姿勢がある
  • 条件の効き方の強さを調整でき、複数の条件を重ねられる
  • 建物や部屋の形を保つのに使われるが、仕上げや細部まで元のとおりになるわけではない
  • T2I-Adapter は同じ目的の軽いアダプターで、2026年10月時点で Diffusers は Legacy に分類している

自分のパースで試すときは、3DCG のレンダリングから線や深度を取り、強さを変えて作り比べてみてください。

あわせて読みたい

会員登録(無料)

記事やテーマのお気に入り・学習履歴・フォローが使えます。

この記事について

PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。