1. 建築知識
  2. パース3DCG
  3. 建築3DCGパースの画像生成AI
  4. インペイントとアウトペイントとは|一部の作り直しと外側の描き足し

インペイントとアウトペイントとは|一部の作り直しと外側の描き足し

編集部 読了 約7分

  • インペイントって、何をしているの?
  • パースの家具だけを、画像生成AIで消したり替えたりしたい
  • インペイントとアウトペイントの違いを知りたい

インペイント(Inpainting)は、画像の一部だけを作り直せる方法です。しかし、指定した所だけが変わるとは限らず、そのまわりも少し変わることがあるのです。

この記事では、インペイントとアウトペイントの仕組みと違いを解説します。家具を置き換えた・消した作例と、作り直した所のまわりがどう変わるか、画像の外側を描き足した作例も分かります。

インペイントは画像の中の一部を、アウトペイントは画像の外側を、画像生成AIに描かせる方法です。

インペイントとは

元の画像とマスクから、ソファを深緑のソファに置き換えた結果と、テーブルを消した結果を並べた図
マスクの白い所をプロンプトに沿って描き直した。ソファを置き換え、テーブルを消した(Stable Diffusion 1.5)

インペイント(Inpainting)とは、画像の中の、マスクで決めた所を作り直す方法です。マスクは、作り直す所を白、残す所を黒で示した画像で、作り直す所を塗って作ります。

白い所を描き直すときの手がかりは、プロンプト(画像を作るときに入れる文章)です。

元の画像をもとに作り直す点は img2img(元の画像にノイズを足して作り直す方法)と同じで、img2img が全体を、インペイントがマスクの所を作り直します。

使い道として、Python で画像生成AIを動かす道具の Diffusers は、傷や乱れを消す直しと、別の物への置き換えを挙げています。物を消すような簡単な作業にも使える、という説明です。

作例は、Stable Diffusion 1.5(画像生成AIのモデルの1つ)で1回ずつ作りました。

ソファにマスクをかけて深緑のソファのプロンプトで、テーブルにマスクをかけて床と敷物のプロンプトで描き直しています。

ソファは深緑のソファに替わり、テーブルは消えて白い敷物になりました。マスクを四角に取ったので、マスクにかかったほかの家具の一部まで描き直されています。

ソファの例では、右の端に元に無い黒い箱のような物も現れました。描き直した所に、頼んでいない物が出ることもあります。

マスクの外も少し変わることがある

インペイントした画像と、元の画像からの差を明るさで表した画像、VAE で縮めて戻しただけの差の画像を並べた図
マスクの外も少し変わった。大きな差はマスクの境目の近くに集まった(差は5倍に強めた)

インペイントでは、マスクの外も少し変わることがあります。Diffusers によると、インペイント用に学習し直したモデルほど、マスクの外を変えやすくなります。

インペイントに使うモデルは、インペイント用に学習し直したものと、ふつうのものの2種類です。

Stable Diffusion 1.5 のインペイント用のモデルは、マスクした画像とマスクそのものも受け取るよう学習したものです。

インペイント用のモデルは、マスクの所と外のつながりを自然にするよう学習しているので、外まで変えやすくなります。

ふつうのモデルは、マスクの範囲を守りやすい一方、仕上がりの質が下がることがあります。その1つが、マスクの境目が線のように見えることです。

この記事の作例は、ふつうのモデルで作りました。この作り方では、画像の全体を一度 VAE(画像を小さな数の並びに縮めて戻す部品)に通します。

VAE は、縮めて戻すときに細部が少し失われる部品です。マスクの外の差は平均 4.1(0〜255 の画素の値の差)で、VAE に通しただけの画像の差 3.8 とほぼ同じでした。

ただ、差が30を超えた画素は、2つの作例でマスクの外の 0.1〜0.4% あり、VAE に通しただけの 0.02% より多くなりました。

増えた分のほとんどは、マスクの境目から16px(画像の幅 768px の約2%)以内です。

図の差の画像は、差を5倍に強めたもので、明るい所ほど大きく変わったことを表します。この作例では、細かな差は全体に、大きな差は境目の近くに出ていました。

マスクの外を変えたくないときは、作った画像に元の画像を重ね、外を元に戻す方法があります。ただし、この方法ではマスクの境目のつながりが不自然になりやすくなります。

アウトペイントとは

元の画像の右に余白を足し、その余白に描き足して横長にした画像を、3段に並べた図
右に余白を足して描き足すと、画像は横に広がった。元の画像との境目で、壁の明るさが変わって見える

アウトペイント(Outpainting)とは、元の画像の外に余白を足し、その余白に描き足す方法です。画像は、足した余白の分だけ大きくなります。

アウトペイントの仕組みは、インペイントと同じです。足した余白を、インペイントのマスクの白い所と同じように、プロンプトに沿って描きます。

作例では、768×432px の画像の右に 256px の余白を足し、部屋のプロンプトで描き足しました。

余白にはソファの続きと毛布のような物が描かれ、元の画像との境目に沿って、壁の明るさが縦の線のように変わって見えます。

描き足した所は、元の画像に写っていない所をモデルが作ったものです。実際の部屋や建物の外側が、その通りになっているとは限りません。

インペイントとアウトペイントの違い

インペイントとアウトペイントを、作り直す所・画像の大きさ・使う仕組み・使い道で比べた表
インペイントは画像の中を、アウトペイントは画像の外を描かせる

インペイントとアウトペイントは、描かせる所が画像の中か外かで分かれます。表は、描かせる所・画像の大きさ・使う仕組み・使い道の4つで比べたものです。

インペイントは画像の大きさを変えず、マスクで決めた所の物を置き換えたり、消したりします。アウトペイントは、余白の分だけ画像を広げて外側を描き足します。

どちらも、元の画像の範囲がわずかに変わることがある点は同じです。アウトペイントの作例でも、元の画像の範囲の画素が、VAE に通しただけのときと同じくらい(平均 3.7)変わっていました。

画像の中の物を直したいならインペイント、画像の外側を広げたいならアウトペイントを使います。

画像の中はインペイント、外はアウトペイントで描かせよう

インペイントの意味・マスクの外・アウトペイントの意味・違いの4つを、1つずつ並べた表
インペイントの意味・マスクの外・アウトペイントの意味・違いのまとめ

インペイントとアウトペイントは、白い所を描かせる同じ仕組みで、画像の中と外を作ります。この記事で解説したことは、次の4つです。

  • インペイントは、マスクの白い所をプロンプトに沿って作り直し、物の置き換えにも、消す直しにも使える
  • マスクの外も少し変わることがあり、インペイント用のモデルほど変えやすい。ふつうのモデルの作例でも、境目の近くが変わった
  • アウトペイントは、元の画像の外に余白を足し、インペイントと同じ仕組みで描き足す
  • 描かせる所が、インペイントは画像の中、アウトペイントは画像の外

インペイントを試すときは、作った画像と元の画像を並べ、マスクの境目のまわりがどう変わったかを見てみてください。

あわせて読みたい

会員登録(無料)

記事やテーマのお気に入り・学習履歴・フォローが使えます。

この記事について

PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。