search
  1. ソフト・サービス
  2. ComfyUI
  3. ComfyUIの画像生成
  4. ComfyUIのimg2img|Load Image・VAE Encode・デノイズ

ComfyUI

ComfyUIのimg2img|Load Image・VAE Encode・デノイズ

編集部 読了 約5分

*2026年9月29日に確認した内容です。ComfyUI の公式ドキュメント(「画像から画像へ」・組み込みのノードの「LoadImage」「VAEEncode」「KSampler」)によります。画面と画像は、編集部の PC(Windows 11・NVIDIA GeForce RTX 4060)のポータブル版(Python ごと1つのフォルダに入った Windows 向けの ComfyUI。ComfyUI v0.37.0・フロントエンド 1.52.7・画面の表示は日本語)で作りました。

img2img(画像から画像へ)は、元の画像をもとに新しい画像を作るワークフローです。ComfyUI では、Load Image で元の画像を読み、VAE Encode で潜在(画像を縮めた数の並び)にして、KSampler(ノイズを取り除いて画像を作るノード)のデノイズ(元の画像を潜在にしたあとに足すノイズの強さ)を1より小さくして描き直します。デノイズの値が小さいほど、元の画像が多く残ります。

img2imgは元の画像から新しい画像を作る

公式ドキュメントによると、img2img は、入力した画像をもとに新しい画像を作るワークフローです。使い方の例として、写真を絵のような絵柄に変える、線画を写実的な画像にする、画像を直す、古い写真に色を付ける、を挙げています。

公式ドキュメントでは、img2img の流れは文章から画像を作る流れとほとんど同じで、参考の画像という条件が1つ増えるだけだとしています。文章から画像では、モデルがプロンプトだけをもとに描き、img2img では、参考の画像とプロンプトの両方をもとに描きます。

img2imgのワークフロー

img2img のワークフローは、文章から画像を作るワークフローの「空の潜在画像」を、「画像を読み込む」と「VAEエンコード」に置き換えたものです。

  1. 「画像を読み込む」(Load Image)を置き、選ぶ欄か「アップロードするファイルを選択」のボタンで元の画像を選ぶ
  2. 「VAEエンコード」(VAE Encode)を置き、「ピクセル」に「画像を読み込む」の「画像」を、「vae」に「チェックポイントを読み込む」の「VAE」をつなぐ
  3. 「VAEエンコード」の「潜在」を、「Kサンプラー」の「潜在画像」につなぐ
  4. 「Kサンプラー」の「ノイズ除去」(デノイズ)を 1 より小さくする
  5. 画面の右上の「実行する」を押す

「画像を読み込む」の選ぶ欄には、ComfyUI の input のフォルダの画像が並びます。「アップロードするファイルを選択」のボタンからも、PC の画像を選べます。公式ドキュメントによると、「画像を読み込む」の出力は「画像」と「マスク」(白黒で範囲を示す画像)の2つで、マスクは画像に透明の部分(アルファチャンネル)があるときに使います。SD1.5 のモデルの置き場所は、「ComfyUIのモデルの種類とフォルダ|checkpoints・diffusion_models・text_encoders・vae・loras」の記事で解説しています。

編集部は、SD1.5 のモデルで作った家の外観の画像(512×512)を元の画像にし、プロンプトを「watercolor painting of a modern house exterior」(現代的な家の外観の水彩画)にして、デノイズ 0.50 で作りました。

チェックポイントを読み込む・2つのCLIPテキストエンコード・画像を読み込む(元の外観の画像)・VAEエンコード・Kサンプラー(ノイズ除去0.50)・画像を保存をつないだワークフロー。保存した画像は水彩画風の家
下の「画像を読み込む」が元の画像、右の「画像を保存」が作った画像(v0.37.0・フロントエンド 1.52.7)

できる画像の大きさは、元の画像の大きさと同じ 512×512 になりました。VAE Encode のしくみは、「ComfyUIのVAEデコードとエンコード|VAEの差し替え・タイル処理」の記事で解説しています。

デノイズで元の画像の残り方を決める

公式ドキュメントでは、img2img の要点を KSampler の denoise(画面の名前は「ノイズ除去」)とし、値を 1 より小さくする必要があるとしています。

  • デノイズの値が小さいほど、作った画像と元の画像の違いは小さくなる
  • デノイズの値が大きいほど、作った画像と元の画像の違いは大きくなる

公式ドキュメントによると、デノイズは、元の画像を潜在にしたあとに足すノイズの強さを決めます。1 にすると潜在は完全なノイズになり、空の潜在画像から作るのと同じになって、元の画像の特徴はすべて失われます。

元の画像と、デノイズ0.3・0.5・0.7・0.9で作った4枚。0.3から0.7は元の画像と同じ形で塗りの質感が加わり、0.9は水彩画風で形も変わる
元の画像(左)と、同じプロンプト・シード 42 でデノイズだけを変えた4枚(v0.37.0)

編集部の試しでは、デノイズ 0.3〜0.7 は元の画像と同じ形のまま、色と塗りの質感が加わりました。0.9 では水彩画のような絵柄になり、建物の形も変わりました。

KSampler のデノイズ以外の設定は、「ComfyUIのKSamplerの設定|シード・ステップ・CFG・サンプラー・スケジューラ・デノイズ」の記事で解説しています。画像を大きくしてから描き直す方法は、「ComfyUIの2パスとHires fix|段階的に大きくした描き直し」の記事で解説しています。画像の一部だけを描き直す方法は、「ComfyUIのインペイント|マスクした部分の作り直し」の記事で解説します。img2img の考え方は、「img2imgとノイズ除去の強さ|元の画像をどれだけ残すか」の記事で解説します。

会員登録(無料)

記事やテーマのお気に入り・学習履歴・フォローが使えます。

この記事について

PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。

あわせて読みたい