1. ソフト・サービス
  2. ComfyUI
  3. ComfyUIの画像の編集
  4. ComfyUIのインペイント|マスクした部分の作り直し

ComfyUI

ComfyUIのインペイント|マスクした部分の作り直し

編集部 読了 約17分

  • ComfyUI でインペイントするには、どのワークフローを使うの?
  • インペイントモデルは、ふつうのモデルと何が違う?
  • インペイントのマスクの使い方を知りたい

ComfyUI(コンフィユーアイ)で作った画像のほとんどは良いのに、家具が1つだけ気に入らないことがあります。しかし、プロンプトを書き換えて作り直すと、気に入っていたほかの所まで変わってしまいます。

この記事で解説するのは、マスクした部分だけを描き直すインペイントのワークフローと、3つのノードの使い分けです。

インペイント用のモデルとふつうのモデルの違いと、境目をなじませる方法も分かります。

画面:ComfyUI v0.37.0 ポータブル版(Windows・2026年9月)

インペイントを始める前に

チェックポイントを読み込むのノード。「ckpt名」の欄で 512-inpainting-ema.safetensors を選んでいる
インペイント用のモデルも、ふつうのモデルと同じ「チェックポイントを読み込む」で読む

インペイントは、画像の中のマスクした部分だけを、新しく描き直すことです。マスクは、直す所を白、残す所を黒で表した白黒の画像です。

この記事では、居間の画像のソファにマスクを描き、赤い革のソファに描き直します(手元の画像でもかまいません)。始める前に知っておくことは、次の4つです。

  • インペイント用のモデルは 512-inpainting-ema.safetensors(Stable Diffusion 2 系)。Hugging Face(AI のモデルを配るサイト)の Comfy-Org/stable_diffusion_2.1_repackaged で配られていて、ライセンスは CreativeML Open RAIL++-M
  • 置き場所は、ふつうのチェックポイント(画像を作るモデルのファイル)と同じ ComfyUI/models/checkpoints。ポータブル版では ComfyUI_windows_portable\ComfyUI\models\checkpoints にあたる
  • マスクは、「画像を読み込む」のノードを右クリックしてOpen in MaskEditor | Image Canvasで開く画面で描き、保存すると「画像を読み込む」のマスクの出力から出る
  • ノード(処理を1つずつ受け持つ部品)は、キャンバス(ノードを並べる真ん中の広い所)の何も無い所をダブルクリックして開く「ノード検索」に、名前を打って置く。この記事の手順は、ComfyUI を開くと出る、文章から画像を作るワークフロー(下の画面)を作り替えていく
ComfyUIの画面の全体。左の列、真ん中のキャンバス、右上の「実行する」
ComfyUI を開くと出る、文章から画像を作るワークフロー。左の列・真ん中のキャンバス・右上の実行する

Flux.1 のインペイント用のモデルで描き直す方法は、「ComfyUIのFlux.1 Fillでのインペイント|Fillのモデルとワークフロー」(準備中)の記事で解説します。

この記事では、ノードの名前を日本語の表示で書きました。画面が英語なら、左の列の設定(歯車)を押し、Language を日本語にしてください。

VAEエンコード(インペイント用)でインペイントする

インペイント用のモデルで組んだワークフロー。VAEエンコード(インペイント用)のノードを赤い枠で囲んでいる
赤い枠が「VAEエンコード(インペイント用)」。画像を保存に、描き直した画像が出ている

インペイント用のモデルで使うのは、マスクした所を描き直すノードの「VAEエンコード(インペイント用)」(VAEEncodeForInpaint)です。

このノードは、マスクした所を灰色で塗りつぶしてから、画像を潜在(画像を縮めた数の並び)にします。

ComfyUI を開くと出る文章から画像を作るワークフローの「空の潜在画像」を、このノードに替える組み方です。

ワークフローのつながりは、ComfyUIの画像生成とは|txt2imgの流れで解説しています。

インペイント用のモデルに替える

「チェックポイントを読み込む」のckpt名の欄を押し、512-inpainting-ema.safetensors を選びます。

欄に 512-inpainting-ema.safetensors が入りました。

プロンプトを打ち替える

Kサンプラーのポジティブにつながった1つめのプロンプトの欄を a bright red leather sofa に、ネガティブにつながった2つめを text, watermark に打ち替えます。

描き直す物と、出したくない物の2つのプロンプトがそろいました。

マスクを描いた画像を読み込む

ノード検索で画像を読み込むを置いて直したい画像を選びます。ノードを右クリックしてOpen in MaskEditor | Image Canvasを押し、ソファを塗って保存を押します。

「画像を読み込む」のマスクの出力から、ソファのマスクが出るようになりました。

「VAEエンコード(インペイント用)」をつなぐ

ノード検索でVAEエンコード(インペイント用)を置きます。

「画像を読み込む」の画像をピクセルへ、チェックポイントのVAEをvaeへ、「画像を読み込む」のマスクをマスクへドラッグしてください。

VAEエンコード(インペイント用)のノードを赤い枠で囲んでいる
ピクセル・vae・マスクの3つの入力に線がつながっている

「VAEエンコード(インペイント用)」の潜在から、マスクの所を灰色にした潜在が出るようになりました。

「空の潜在画像」と替える

「空の潜在画像」を押して選び、Deleteキーで消します。「VAEエンコード(インペイント用)」の潜在を、Kサンプラー(潜在画像のノイズを取り除くノード)の潜在画像へつないでください。

Kサンプラーの潜在画像に、マスクの所を灰色にした潜在が入るようになりました。

Kサンプラーの値を決めて実行する

Kサンプラーをシード 2・生成後の制御 fixed・ステップ 20・cfg 7.0・euler・normal・ノイズ除去 1.00 にし、右上の実行するを押します。

シードは、ノイズを作るもとになる数です。

「画像を保存」に、ソファの所だけを赤い革のソファに描き直した画像が出ました。

これで、マスクした所だけを描き直せました。マスクの所は灰色で塗りつぶされるので、Kサンプラーのノイズ除去は 1.00 のまま使います。

マスクの拡大を変える

マスクの拡大を 0・6・24・64 にして描き直した画像
左から、マスクの拡大 0・6・24・64。64 ではソファが大きくなり、足元の床まで描き直された

「VAEエンコード(インペイント用)」のマスクの拡大は、マスクを外へ広げるピクセルの数です。初めの値は 6 で、0〜64 の間で決めます。

広げると、描き直す範囲がマスクの外まで広がります。変える手順は、次の2つです。

「マスクの拡大」の欄を押す

「VAEエンコード(インペイント用)」のノードの一番下のマスクの拡大の欄を押し、数を打ってEnterキーを押します。

VAEエンコード(インペイント用)のノード。「マスクの拡大」の欄を赤い枠で囲んでいる
マスクの拡大の初めの値は 6

欄に、打った数が入りました。

実行して比べる

右上の実行するを押し、「画像を保存」の画像を見ます。値を変えるたびに、Step 1 と同じように打ち直して実行します。

作例では、0 と 6 はほぼ同じで、24・64 では描き直す範囲がソファの外まで広がりました。

ふつうのモデルでインペイントする

VAEエンコード(インペイント用)・インペイントモデル条件付け・潜在ノイズマスクを設定(ノイズ除去 0.7)で描き直した画像
同じ SD1.5・同じシードで3つのノードを比べた(右だけノイズ除去 0.70)。左は床が灰色の面に、真ん中は周りになじんだ新しいソファに、右は元の画像が下地に残った

インペイント用でない、ふつうのモデル(ここでは SD1.5)では、「インペイントモデル条件付け」か「潜在ノイズマスクを設定」で描き直します。

チェックポイントのckpt名は、v1-5-pruned-emaonly-fp16.safetensors(ComfyUI の最初の例で使う SD1.5 のモデル)に替えておきます。

この節の中身は、次の3つです。

  • インペイントモデル条件付けで描き直す
  • 潜在ノイズマスクを設定で元の形を残して描き直す
  • 3つのノードの違い

インペイントモデル条件付けで描き直す

「インペイントモデル条件付け」(InpaintModelConditioning)は、2つのプロンプトと画像とマスクから、ポジティブ・ネガティブ・潜在の3つを作るノードです。

前の節の「VAEエンコード(インペイント用)」は消してから始めます。

インペイント用のモデルにも、ふつうのモデルにも使えます。

「インペイントモデル条件付け」をつなぐ

ノード検索でインペイントモデル条件付けを置きます。

1つめのプロンプトをポジティブへ、2つめをネガティブへ、チェックポイントのVAEをvaeへ、「画像を読み込む」の画像とマスクをピクセルとマスクへつないでください。

「インペイントモデル条件付け」の左の5つの入力が、つながりました。

出力をKサンプラーにつなぐ

このノードのポジティブ・ネガティブをKサンプラーの同じ名前の入力へ、潜在を潜在画像へつなぎ、実行するを押します。入力につなぐと、前からつながっていた線は外れます。

インペイントモデル条件付けを使ったワークフロー。このノードを赤い枠で囲んでいる
赤い枠が「インペイントモデル条件付け」。SD1.5 で描き直した

SD1.5 でも、ソファの所が周りになじんだ赤いソファに描き直されました。ノイズマスクの欄は、初めの true のままです。

潜在ノイズマスクを設定で元の形を残して描き直す

「潜在ノイズマスクを設定」(SetLatentNoiseMask)は、元の画像の潜在に、描き直す範囲のマスクを付けるノードです。ノイズ除去を下げると、元の画像が下地に残ります。

「インペイントモデル条件付け」を消し、2つのプロンプトを Kサンプラーのポジティブ・ネガティブへつなぎ直してから始めます。

画像を「VAEエンコード」で潜在にする

ノード検索でVAEエンコードを置き、「画像を読み込む」の画像をピクセルへ、チェックポイントのVAEをvaeへつなぎます。

元の画像が、潜在として出るようになりました。

「潜在ノイズマスクを設定」をつなぐ

ノード検索で潜在ノイズマスクを設定を置き、VAEエンコードの出力をサンプルへ、「画像を読み込む」のマスクをマスクへつなぎます。出力は、Kサンプラーの潜在画像へつないでください。

マスクの付いた潜在が、Kサンプラーに届くようになりました。

ノイズ除去を下げて実行する

Kサンプラーのノイズ除去を 0.70 にして、実行するを押します。

潜在ノイズマスクを設定を使ったワークフロー。このノードを赤い枠で囲んでいる
赤い枠が「潜在ノイズマスクを設定」。ノイズ除去 0.70 で描き直した

ソファの所が、元の形を下地にして赤く描き直されました。

3つのノードの違い

同じ SD1.5・同じシードで3つのノードを比べると、次の表のとおりでした。潜在ノイズマスクを設定だけノイズ除去 0.70、ほかの2つは 1.00 です。

ノード向いている使い方SD1.5 での作例の結果
VAEエンコード(インペイント用)インペイント用のモデルで描き直すマスクの所の床が灰色の平らな面になった
インペイントモデル条件付けインペイント用のモデルにも、ふつうのモデルにも使う周りになじんだ新しいソファになった
潜在ノイズマスクを設定ノイズ除去を下げて、元の形や色を下地に残すノイズ除去 0.70 で元の画像が下地に残り、ソファの形が崩れて黄色い物も描かれた

ふつうのモデルで描き直すなら、作例ではインペイントモデル条件付けがいちばん周りになじみました。

インペイント用のモデルでは、VAEエンコード(インペイント用)とインペイントモデル条件付けのどちらでも描き直せます。

ぼかしたマスクと差分拡散で境目をなじませる

差分拡散なしとありで、ぼかしたマスクから描き直した画像
差分拡散なし(左)では、ソファの足元ににじんだ跡が残った

縁をぼかしたマスクで描き直すときは、「差分拡散」(DifferentialDiffusion)をモデルにかけます。差分拡散は、マスクの灰色の濃さに合わせて、描き直す強さを変えるノードです。

前の節の「潜在ノイズマスクを設定」のワークフローで、マスクを縁をぼかしたものに替えて試します。手順は次の4つです。

ぼかしたマスクを読み込む

ノード検索で画像を読み込む(マスクとして)を置き、縁をぼかした白黒のマスクの画像を選んで、チャンネルを red にします。

マスクのぼかし方は、「ComfyUIのマスクのノード|作成・拡張・ぼかし・合成」(準備中)の記事で解説します。

ぼかしたマスクが、ノードのマスクから出るようになりました。

マスクとノイズ除去を替える

読み込んだマスクを「潜在ノイズマスクを設定」のマスクへつなぎ直し、Kサンプラーのノイズ除去を 1.00 に戻します。

ぼかしたマスクで、潜在ノイズマスクを設定が描き直す形になりました。

「差分拡散」をつなぐ

ノード検索で差分拡散を置き、チェックポイントのモデルをこのノードのモデルへ、このノードの出力を Kサンプラーのモデルへつなぎます。

差分拡散をつないだワークフロー。差分拡散のノードを赤い枠で囲んでいる
左下の「画像を読み込む(マスクとして)」で、ぼかしたマスクを読んでいる

モデルが、差分拡散を通って Kサンプラーに届くようになりました。

差分拡散ありで実行する

strengthは初めの値の 1.00 のままで、実行するを押します。

差分拡散ありでは、ソファの足元のにじんだ跡が消えました。

インペイント用の ControlNet

ControlNetインペインティングAliMamaを適用のノード。左にポジティブ・ネガティブ・コントロールネット・vae・画像・マスクの入力、下に強度・開始パーセント・終了パーセントの欄が並ぶ
ノード検索で置いたところ。ControlNet のモデルはつないでいない

ControlNet は、形の手がかりになる画像をモデルに足して渡す仕組みです。

インペイント用の ControlNet は、元の画像のマスクの所を消し、マスクと一緒に手がかりとしてモデルに渡す ControlNet です。

ControlNet の読み込み方と基本は、ComfyUIのControlNetの基本|Load ControlNet Model・Apply ControlNet・強さと効く範囲で解説しています。

ComfyUI では、「ControlNetインペインティングAliMamaを適用」(ControlNetInpaintingAliMamaApply)のノードで使います。

このノードの入力と欄を、次の表にまとめました。

入力・欄中身
ポジティブ・ネガティブプロンプトの条件付け
コントロールネットインペイント用の ControlNet のモデル
vae画像を潜在にする VAE
画像・マスク元の画像と、描き直す所のマスク
強度効き方の強さ(0〜10・初めは 1.00)
開始パーセント・終了パーセントステップのどこからどこまで効かせるか(初めは 0 と 1)

このノードに合うインペイント用の ControlNet は、SD3・Flux・Qwen-Image の型です。

マスクを足して使う作りなのはこの3つの型だけで、SD1.5 や SD2 の ControlNet ではマスクを足す処理は働きません。

インペイントがうまくいかないとき

左が元の画像、真ん中がインペイント用のモデル、右が SD1.5 で、同じマスクを描き直した画像
同じ「VAEエンコード(インペイント用)」で、SD1.5(右)ではソファの足元の床が灰色の平らな面になった

インペイントがうまくいかないときの症状は、次の3つです。

  • マスクの所が灰色の面になる
  • 境目ににじんだ跡が残る
  • 周りまで描き直される

マスクの所が灰色の面になる

原因は、インペイント用でないモデルで「VAEエンコード(インペイント用)」を使ったことです。このノードはマスクの所を灰色で塗りつぶすので、ふつうのモデルでは灰色が残りました。

インペイント用のモデルに替えるか、「インペイントモデル条件付け」に組み替えます。

境目ににじんだ跡が残る

原因は、ぼかしたマスクで、差分拡散を使わずに描き直したことです。作例では、ソファの足元ににじんだ跡が残りました。

モデルと Kサンプラーの間に、「差分拡散」をつなぎます。

周りまで描き直される

原因は、「VAEエンコード(インペイント用)」のマスクの拡大が大きいことです。作例の 64 では、足元の床まで描き直されました。

マスクの拡大を初めの値の 6 に戻すか、小さくして実行し直します。

インペイントで、マスクした所だけを描き直してみよう

インペイントモデル条件付けを使ったワークフロー
インペイントモデル条件付けで、SD1.5 のままソファを描き直したワークフロー

インペイントは、画像の中のマスクした部分だけを描き直すことです。この記事の要点は、次の4つです。

  • インペイント用のモデルなら、「VAEエンコード(インペイント用)」でマスクした所を描き直す。周りまで描き直されるときは、マスクの拡大を小さくする
  • ふつうのモデルなら「インペイントモデル条件付け」、ノイズ除去を下げて元の形を下地に残すなら「潜在ノイズマスクを設定」
  • ぼかしたマスクで描き直すときは、「差分拡散」をモデルにかける
  • インペイント用の ControlNet は、SD3・Flux・Qwen-Image の型を「ControlNetインペインティングAliMamaを適用」で使う

まずは手元の画像の家具1つにマスクを描いて、描き直してみてください。

あわせて読みたい

会員登録(無料)

記事やテーマのお気に入り・学習履歴・フォローが使えます。

この記事について

PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。

あわせて読みたい