ComfyUIのControlNetの基本｜Load ControlNet Model・Apply ControlNet・強さと効く範囲

ComfyUIのControlNetの基本｜Load ControlNet Model・Apply ControlNet・強さと効く範囲

この記事では、ControlNet（形の手がかりになる画像を足して、形を決めたまま画像を作る仕組み）を ComfyUI で使い、手描きの線に沿った家の外観を作ります。

あわせて、ControlNet の効く強さと効く範囲の変え方と、効き方を細かく変える方法を扱います。

ComfyUIのControlNetとは｜Load ControlNet ModelとApply ControlNet

ControlNet は、画像を作るモデル（画像の作り方を学習したファイル）に、形の手がかりになる画像を足して渡す仕組みです。
2023年に Lvmin Zhang さんたちが論文で出しました。

ComfyUI では、ControlNet を2つのノードで使います。

Load ControlNet Model（画面の表示では「ControlNetモデルを読み込む」）は、ControlNet のモデルのファイルを読むノードです。
Apply ControlNet（「ControlNetを適用」）は、手がかりの画像を、プロンプト（作りたい画像を書いた文）をモデルが読める形にしたもの（条件付け）に足すノードです。

「ControlNetを適用」の欄では、効く強さと、画像を作る処理のどこからどこまで効かせるか（効く範囲）を決めます。

手がかりにする画像は、線画・深度（奥行きを白黒で表した画像）・人の姿勢などです。
種類ごとに、別の ControlNet のモデルを使います。

ControlNet が無いと、同じ文でも、シード（結果を決める番号）が変わるたびに形が変わります。
思った形が出るまで、何度も作り直すことになるでしょう。

ControlNetを使う前に｜ComfyUIの言葉と用意するもの

この記事で使う ComfyUI の画面の言葉と、その意味です。

ノード検索で押したノードは、キャンバスのダブルクリックした所に置かれます。
画面の右上の「実行する」を押すとワークフローが動き、作った画像は「画像を保存」のノードに出て、ComfyUI/output のフォルダに保存されます。

この記事の手順は、文章から画像を作るワークフローに、ControlNet のノードを足していく形です。

始める前に、次の3つを用意してください。

文章から画像を作るワークフローの組み方は、ComfyUIの画像生成とは｜txt2imgの流れで解説しています。

この記事のノードの名前は日本語の表示のものです。

英語で出ているときは、左下の歯車を押して設定を開き、検索の欄に Language と打って、出てきた欄で日本語を選びます。
ControlNet のモデルを置く ComfyUI/models/controlnet などは、ポータブル版では、展開した ComfyUI_windows_portable の中の ComfyUI から数えた場所です。

作例の画像は、次の設定で作りました。
1つめのプロンプトには、「a modern house exterior, white walls, gray tiled roof, wooden door, garden, blue sky, daylight, architectural photo」と書きました。

表の値は、最初に実行する前に、それぞれのノードの欄に入れておきましょう。
記事と同じ条件で作れます。

線の画像には、黒い地に白い線で描いた手元の画像を使ってください。
設定をそろえても、線が違えば、できる画像は変わります。

写真やパースから線を取るなら、ComfyUIの前処理｜プリプロセッサ・comfyui_controlnet_auxの手順を使いましょう。

ControlNetのモデルの導入｜種類と置き場所

ControlNet のモデルは、画像を作るモデル（チェックポイント）の種類ごとに分かれています。
SD1.5 用のモデルとしてそろっているのが、ControlNet 1.1 です。

この記事では、Hugging Face の comfyanonymous/ControlNet-v1-1_fp16_safetensors にある、SD1.5 用の fp16 の版（数の細かさを半分にして、ファイルを小さくした版）を使いました。
このリポジトリにはライセンスの表示がなく、元の lllyasviel/ControlNet-v1-1 のライセンスは OpenRAIL です。

同じリポジトリには、ほかの種類もあります。
たとえば Tile は画像の細部を描き足す、Inpaint は画像の一部を描き直す、MLSD は直線だけの線を手がかりにする ControlNet です。

この記事の手順で落とすのは、表の3行目の scribble のモデルだけです。

モデルのファイルを置く

ComfyUI/
└── models/
    ├── checkpoints/
    │   └── dreamshaper_8.safetensors
    └── controlnet/
        └── control_v11p_sd15_scribble_fp16.safetensors

モデルの種類と置くフォルダの全体は、ComfyUIのモデルの種類とフォルダ｜checkpoints・diffusion_models・text_encoders・vae・lorasで解説しています。

ComfyUIでControlNetを使う方法｜ワークフローへの足し方

文章から画像を作るワークフローに、ControlNet の2つのノードを足します。
ここでは、公式ドキュメントの例と同じ Scribble（手描きの線）のモデルで、家の外観を作りましょう。

足し終えたワークフローは、次の形になります。

ControlNet のモデルを読むノードを置く

3「ControlNetモデルを読み込む」を押す

一覧の「ControlNetモデルを読み込む」（英語の表示では Load ControlNet Model）を押します。
キャンバスに、そのノードが置かれます。

右に Comfy と出ている行が、組み込みのノードです。

4「コントロールネット名」でモデルを選ぶ

置いたノードの「コントロールネット名」の欄（画面では「コント …」と縮めて出る）を押します。
出てきた一覧で control_v11p_sd15_scribble_fp16.safetensors を押すと、欄にその名前が入ります。

線の画像を読み込む

2「アップロードするファイルを選択」を押す

「画像を読み込む」のノードの「アップロードするファイルを選択」を押します。
ファイルを選ぶ画面が開くので、手がかりにする線の画像を選んでください。

この記事の線の画像は、黒い地に白い線で家の外形を描いた、768×512 の画像です。

手元に線の画像が無いときは、画像を描くソフトで黒い地に白い線を描き、空の潜在画像と同じ 768×512 で保存してください。
縦横の比が違うと、線の画像は作る画像の大きさに合わせて引き伸ばされます。

「ControlNetを適用」でつなぐ

5VAE をつなぐ

「チェックポイントを読み込む」の右の「VAE」の点から、「ControlNetを適用」の左の「vae」の点までドラッグします。
左の5つの入力が、すべてつながります。

5つのうち「vae」は、点が白抜きの、つながなくても動く入力です。

実行する

屋根の形、窓の数と位置、扉の位置が、線のとおりになりました。

編集部の PC（NVIDIA GeForce RTX 4060）では、768×512 の1枚が約6秒で、ControlNet を足さないときは約4秒でした。

線の画像を元の写真から作る方法は、ComfyUIの前処理｜プリプロセッサ・comfyui_controlnet_auxで解説しています。

ControlNetの強さと効く範囲｜強度・開始パーセント・終了パーセント

Kサンプラーは、ノイズを少しずつ取り除く処理（ステップ）を繰り返して画像にするノードです。
「ControlNetを適用」には、効く強さと、どのステップで効かせるかを決める3つの欄があります。

シードを固定する

値の違いだけを比べるには、先にシードを同じ数に固定します。

1「生成後の制御」を fixed にする

Kサンプラーの「シード」の欄の数を押し、42 と打って Enter を押します。
Kサンプラーの「生成後の制御」の欄を押し、出てきた一覧の fixed を押します。

これで、実行しても上の「シード」の数は変わりません。

強度を変える

同じようにして、強度を 0.60・1.00 にしたものも作りました。

効かせる範囲を短くする

ステップのはじめのほうで全体の形が決まり、あとのほうで細部が描かれます。
終了パーセントを小さくすると、形を決めたあとは ControlNet を外し、細部を自由に描かせられます。

強度は 1.00 のまま、終了パーセントを 1.000・0.500・0.200 にして比べました。

この作例で違いが見えたのは、終了パーセントを 0.200 まで下げたときです。
細部をプロンプトに任せたいときは、0.200 くらいまで下げて試しましょう。

古いApply ControlNet（旧）とdiffのモデル

ComfyUI には、ControlNet を適用するノードが2つあります。
いま使うのは「ControlNetを適用」で、古い「ControlNetを適用（旧）」は非推奨です。

「ControlNetを適用（旧）」は、条件付けを1つしか受け取りません。
欄も「強度」だけです。

前の版の ComfyUI で作ったワークフローを開くと、このノードが入っていることがあります。

任意：非推奨のノード検索に出す

非推奨のノードは、初めの設定ではノード検索に出ません。
新しく組むときは、切り替えなくてかまいません。

3右のスイッチを押す

「検索で非推奨ノードを表示」の右のスイッチを押すと、青くなって切り替わります。
ノード検索に、非推奨のノードも出るようになります。

設定の画面は、Ctrl+, でも開きます。

差分のモデルを読むノード

ノード検索には、「ControlNetモデルを読み込む（diff）」もあります。
差分の形（元のチェックポイントとの違いだけを持たせたファイル）で配られた、ControlNet のモデルを読むノードです。

このノードには、左に「モデル」の入力があります。
そこへ、チェックポイントの「モデル」をつないで使います。

SD1.5 の ControlNet 1.1 のファイルは差分の形ではないので、「ControlNetモデルを読み込む」で読んでください。

Load Advanced ControlNet Modelで効き方を細かく変える

カスタムノードは、ComfyUI にあとから足すノードのことです。
カスタムノード ComfyUI-Advanced-ControlNet を入れると、ControlNet の効き方を、ステップの途中で変えたり、モデルの層（モデルの中で、処理を順に受け持つ段）ごとに弱めたりできます。

この記事では、カスタムノードマネージャ（カスタムノードを探して入れる画面。ComfyUI-Manager という機能の画面）から 1.6.0 を入れました。

ライセンスは GPL-3.0 です。
入れるときに足される Python のパッケージ（ComfyUI を動かすプログラムに足す、機能のまとまり）はありません。

入れ方は、ComfyUI-Manager｜カスタムノードの管理で解説しています。
入れたあとは ComfyUI を起動し直し、ブラウザの画面を読み込み直してください。

Advanced-ControlNet のノードに置き換える

「ControlNetを適用」で組んだワークフローの2つのノードを、Advanced-ControlNet のノードに置き換えます。

Scaled Soft Weights でプロンプトを強く効かせる

Scaled Soft Weights は、ControlNet の効きを、モデルの層ごとに少しずつ弱めるノードです。
ControlNet が弱まる分、プロンプトの文が絵に出やすくなります。

2「CN_WEIGHTS」を「weights_override」につなぐ

「Scaled Soft Weights」の右の「CN_WEIGHTS」の点から、「Apply Advanced ControlNet」の左の「weights_override」の点までドラッグします。
ControlNet の効きが、層ごとに弱められるようになります。

「ControlNetを適用」で作った画像と、並べて比べました。

ControlNetが効かないとき・形が崩れるとき

ControlNet には、線のほかにも手がかりにする画像の種類があります。
種類ごとの使い方は、次の記事で解説しています。

• 線の種類ごとの違い：ComfyUIのCanny・Lineart・Scribble｜線で決める形
• 奥行きで空間の形を残す：ComfyUIのDepth ControlNet｜深度で決める奥行き
• 人の姿勢を決める：ComfyUIのPose ControlNet｜添景の人物の姿勢
• 複数の ControlNet を重ねる：ComfyUIの複数のControlNetの併用｜Union ControlNet

参考にしたのは、ComfyUI の公式ドキュメントのControlNetのページと内蔵ノードのページ、ComfyUI-Advanced-ControlNetの README です（2026年9月29日に確認）。