- 建築知識
- パース3DCG
- 建築3DCGパースの画像生成AI
- LoRA|小さなファイルでの追加学習
LoRA|小さなファイルでの追加学習

LoRA|小さなファイルでの追加学習
- LoRA って、そもそも何?
- LoRA で、パースのテイストをそろえられると聞いた
- LoRA が画像生成AIの中でどう働くのかを知りたい
LoRA は、画像生成AIのテイストを変える方法として、解説の記事で取り上げられています。しかし、モデル(学習でできた、画像を作る仕組み)に何を加えているのかは、使っているだけでは見えません。
この記事では、LoRA の意味と、もとのモデルに差分を加える仕組みを解説します。ファイルの大きさと効き方の強さ、建築のパースでの使われ方も分かります。
LoRA は、もとのモデルを変えずに、差分だけを学んで加える追加学習の方法です。追加学習は、学習を済ませたモデルに、あとから学ばせることを指します。
LoRAとは

LoRA(ローラ)とは、生成AIが特定の用途に沿った出力をするよう、少ない計算量の追加学習で調整する方法です。名前は Low-Rank Adaptation の略です。
最初は2021年に、大規模言語モデル(文章を作る大きな AI のモデル)のための方法として発表されました。
画像生成AIでは、モデルが学習していない画風(テイスト)や物を、少ない画像からあとで加えるのに使われています。
使うときは、もとのモデルに LoRA のファイルを付け、プロンプト(画像を作るときに入れる文章)を入れて画像を作る流れです。
もとの重みを固定して差分だけを学ぶ

LoRA の仕組みは、もとのモデルの重みを固定したまま、重みに足す差分だけを学習することです。重みは、モデルの中で計算に使う、学習で決まる数値です。
差分は、モデルの層(計算の段)ごとに入れる、2つの小さな行列で表します。行列は、数を縦横に並べたものです。
2つの行列を掛け合わせると、もとの重みと縦横の数が同じ差分になります。
学習するのはこの2つの行列だけなので、モデル全体を学習し直すより、LoRA は学習が速く済みます。
LoRAの効き方の強さ

LoRA は、使うときに効き方の強さを変えられます。強さは、足す差分をどれだけ使うかを決める値で、道具によって strength や scale などの名前で出ます。
強さを 0 にすると、もとのモデルの重みだけを使うのと同じです。1 にすると、学習した LoRA をそのまま全部使う状態になります。
あいだの値にすると、LoRA の効き方を弱められます。
LoRAとモデル全体のファイルの大きさ

LoRA のファイルは、モデル全体を学習し直したファイルより小さくなります。保存するのが、差分を表す2つの行列だけだからです。
Python(プログラムの言語)で画像生成AIを動かす道具の Diffusers の説明では、モデル全体を学習し直したファイルは数GB です。LoRA のファイルは、数百MB ほどとされています。
LoRA の論文の GPT-3(文章を作るモデル)の例では、保存するファイルが 350GB から 35MB と、約1万分の1になりました。小さくなる割合は、モデルと条件で変わります。
LoRA を使うときも、もとのモデルのファイルは要ります。そのうえで画風をいくつも加えたいなら、画風ごとにモデル全体を学習し直したファイルを持つより、LoRA のほうが置き場所を取りません。
建築パースでLoRAを使う例

建築のパースでは、LoRA で図面やパースのテイストをそろえたり、手描き風にしたりする試みがあります。
立面図の着色で LoRA の学習を試した実務者は、学習させると同じテイストで複数の図面やパースを作れると書いています。
その理由に挙げているのは、ControlNet(線や深度の画像で形を寄せる仕組み)とプロンプトだけでは、微妙なずれが出ることがある点です。
手描き風の建築の画像で学習した LoRA を、ControlNet とプロンプトと組み合わせて、手描き風のパースを作った例もあります。
どちらも実務者の試みです。どの LoRA でも同じように効くとは限りません。
LoRAの仕組みを知ってパースのテイストづくりに生かそう

LoRA は、もとの重みを固定し、差分だけを学んで加える方法です。この記事で解説したことは、次の5つです。
- LoRA は、少ない計算量の追加学習で、生成AIを用途に合わせて調整する方法
- もとの重みは固定し、2つの小さな行列で表す差分だけを学習する
- 使うときに効き方の強さを変えられ、0 でもとのモデルと同じ、1 で LoRA を全部使う
- ファイルは、モデル全体を学習し直したファイル(数GB)より小さい(数百MB)
- 建築では、図面やパースのテイストをそろえたり、手描き風にしたりする試みがある
LoRA を使うときは、強さを変えて作り比べ、もとのモデルに何が加わったかを見てみてください。
あわせて読みたい
- 「Textual Inversion(Embedding)|新しい言葉の数値だけを学ぶ仕組み」(準備中) — LoRA と違い、言葉の数値だけを学ぶ方法を知りたいとき
- 「モデルのファイルとファインチューニング|チェックポイント」(準備中) — モデル全体を学習し直す追加学習を知りたいとき
- ComfyUIのLoRAの読み込み|Load LoRA・強さ — ComfyUI で LoRA を読み込み、強さを決める操作を知りたいとき
- ComfyUIのLoRAの学習|組み込みの学習ノード — 自分の画像で LoRA を学習させる操作を知りたいとき
会員登録(無料)
記事やテーマのお気に入り・学習履歴・フォローが使えます。
この記事について
PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。