1. 建築知識
  2. パース3DCG
  3. 建築3DCGパースの画像生成AI
  4. img2imgとノイズ除去強度|元の画像にどれだけ似せるか

img2imgとノイズ除去強度|元の画像にどれだけ似せるか

編集部 読了 約7分

  • img2img って、何をしているの?
  • ノイズ除去強度の値を変えると、なぜ絵がこんなに変わるの?
  • 3DCG のパースを画像生成AIで仕上げる仕組みを知りたい

3DCG のレンダリングを画像生成AIに入れて、写真らしく仕上げる例があります。しかし、そのときに決めるノイズ除去強度の値で何が変わるのかは、名前からは読み取りにくい所です。

この記事では、img2img の仕組みと、ノイズ除去強度で元の画像との似方が変わる理由を解説します。同じ部屋の画像を強さだけ変えて作り比べた作例と、建築パースでの使われ方も分かります。

img2img は、元の画像をもとに新しい画像を作る方法です。ノイズ除去強度は、そのとき元の画像に足すノイズの量を決めます。

img2imgとは

元の画像にノイズを足し、プロンプトに沿って取り除き直して、新しい画像を作る流れの図
img2img は、元の画像にノイズを足してから、プロンプトに沿って取り除き直す(作例は強さ 0.6)

img2img(Image to Image)とは、元の画像にノイズを足してから取り除き直し、新しい画像を作る方法です。ノイズは、画像に足す、ざらざらしたでたらめな値を指します。

ノイズを取り除くときの手がかりは、プロンプト(画像を作るときに入れる文章)です。2021年の SDEdit という論文が、この「足してから取り除く」流れを示しています。

文章だけから画像を作るときの出発点は、ノイズだけの状態です。img2img は元の画像にノイズを足した状態から作り始めるので、元の画像の様子が新しい画像に引き継がれます。

元の画像にノイズを足して取り除き直す仕組み

元の画像を縮め、ノイズを足し、プロンプトに沿って取り除き、画像に戻す4段の流れの図
Stable Diffusion の img2img は、縮めた元の画像にノイズを足して取り除き、画像に戻す

Stable Diffusion(画像生成AIのモデルの1つ)の img2img は、縮めた元の画像にノイズを足して取り除き、画像に戻します。

元の画像はまず、VAE(画像を縮めて戻す部品)のエンコーダで、潜在空間へ縮められます。潜在空間は、画像を小さな数の並びにして置く所です。

次は、縮めた元の画像にノイズを足す番です。モデルは、ノイズの残る数の並びとプロンプトから、足されたノイズを予測して取り除きます。

ノイズは一度に取らず、何段かに分けて少しずつ取り除きます。この段の数がステップ数です。

取り除いたあとの数の並びを VAE のデコーダで画像に戻すと、元の画像そのものではなく、プロンプトに沿った新しい画像になります。

ノイズ除去強度で元の画像との似方が変わる

同じ部屋の画像を、ノイズ除去強度 0.2・0.4・0.6・0.8・1.0 にして作った5枚と元の画像
強さを上げるほど元の画像から離れ、1.0 では元と違う部屋になった(Stable Diffusion 1.5・ComfyUI の denoise)

ノイズ除去強度(Denoising strength。以下、強さ)は、仕組みの2段目で、元の画像にどれだけノイズを足すかを決める値です。

上げるほど新しい画像は元の画像から離れ、1 にすると元の画像はほぼ使われません。

強さが段の数をどう扱うかは、道具で違います。Python で画像生成AIを動かす道具の Diffusers では、ステップ数 50・強さ 0.8 なら40段ぶんのノイズを足して40段で取り除きます。

ComfyUI(画像生成AIを動かすソフト)では、KSampler の denoise がこの値です。denoise を下げても取り除く段の数はステップ数のままで、足すノイズの量が減ります。

節の初めの作例は、ComfyUI と Stable Diffusion 1.5 で、同じ部屋のレンダリングを強さだけ変えて1回ずつ作りました。

この試しでは、0.2 はほとんど元のままで、0.4 でソファのクッションの形が変わりました。0.6 では、元に無い額が壁に現れています。

0.8 では窓の形と家具の配置が変わり、1.0 では元とまったく違う部屋になりました。

元の画像に似せることと写実らしさのつり合い

ノイズ除去強度 0.2 と 0.8 の作例を並べ、似せることと写実らしさのつり合いを表した図
この試しでは、0.2 は形も見た目も元に近く、0.8 は写真のような見た目になったかわりに窓と家具が変わった

強さは、元の画像に似せることと、写実らしさのつり合いを見て決めます。SDEdit の論文は、入力に忠実であることと写実らしさのつり合いを、要の課題に挙げています。

img2img で、このつり合いを動かす値が強さです。この試しの 0.2 は、形が元に近いかわりに、見た目も CG のレンダリングのままでした。

0.8 は写真のような見た目になったかわりに、窓と家具が元と変わりました。どこまで離れてよいかは、形を元に近く保ちたいのか、見た目を大きく変えたいのかで変わります。

決めるときは、同じシード(シード値。足すノイズの模様を決める数)で、強さだけを変えて作り比べてください。シードをそろえると、違いが強さの差だけになります。

建築パースでのimg2imgの使われ方

3DCG の簡単な形の画像に、img2img と ControlNet を組み合わせて写真らしく仕上げる考え方の図
形を保ったまま見た目を変える例では、img2img と ControlNet が一緒に挙がっている

建築パースでは、3DCG で作った簡単な形の画像を、img2img で写真らしく仕上げる例があります。3DCG の画像を img2img に入れる手順を紹介しているのは、パース制作会社の記事です。

同じ会社の別の記事は、簡単なビルの形を保ったまま、外壁をレンガ造りに替える例を載せています。テイスト(雰囲気)を変えたいときの使い方です。

その記事が形を保つ技術として挙げているのは、img2img と ControlNet(線や深度の画像で形を寄せる仕組み)の2つ。img2img だけで形が保たれるとは書かれていません。

作例でも、強さを上げるほど窓や家具の配置が変わりました。形を保ちながら見た目を変えたいときは、ControlNet と組み合わせることになります。

img2imgの強さを変えて元の画像との似方を見比べよう

img2img の意味・仕組み・ノイズ除去強度・つり合い・建築での使われ方の5つを、1つずつ並べた表
img2img の意味・仕組み・ノイズ除去強度・つり合い・建築での使われ方のまとめ

img2img は、元の画像を下絵にして、ノイズを足してから描き直す方法です。この記事で解説したことは、次の5つです。

  • 元の画像にノイズを足してから、プロンプトに沿って取り除き直す
  • 元の画像を潜在空間に縮めて計算し、最後に画像に戻す
  • 強さは足すノイズの量で、上げるほど元の画像から離れ、1 でほぼ使われない
  • 強さは、元の画像に似せることと写実らしさのつり合いで選ぶ
  • 建築パースでは、3DCG の簡単な形の画像を写真らしく仕上げる例があり、形を保つのは ControlNet と組む

自分のパースで試すときは、同じシードで強さだけを変えて作り比べ、元の画像からどこまで離れたかを見てみてください。

あわせて読みたい

会員登録(無料)

記事やテーマのお気に入り・学習履歴・フォローが使えます。

この記事について

PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。