1. 建築知識
  2. パース3DCG
  3. 建築3DCGパースの画像生成AI
  4. LoRA|小さなファイルでの追加学習

LoRA|小さなファイルでの追加学習

編集部 読了 約6分

  • LoRA って、そもそも何?
  • LoRA で、パースのテイストをそろえられると聞いた
  • LoRA が画像生成AIの中でどう働くのかを知りたい

LoRA は、画像生成AIのテイストを変える方法として、解説の記事で取り上げられています。しかし、モデル(学習でできた、画像を作る仕組み)に何を加えているのかは、使っているだけでは見えません。

この記事では、LoRA の意味と、もとのモデルに差分を加える仕組みを解説します。ファイルの大きさと効き方の強さ、建築のパースでの使われ方も分かります。

LoRA は、もとのモデルを変えずに、差分だけを学んで加える追加学習の方法です。追加学習は、学習を済ませたモデルに、あとから学ばせることを指します。

LoRAとは

もとのモデルに LoRA のファイルを付け、プロンプトから画像を作る流れを表した図
もとのモデルの重みは変えず、LoRA のファイルの差分を付けて画像を作る

LoRA(ローラ)とは、生成AIが特定の用途に沿った出力をするよう、少ない計算量の追加学習で調整する方法です。名前は Low-Rank Adaptation の略です。

最初は2021年に、大規模言語モデル(文章を作る大きな AI のモデル)のための方法として発表されました。

画像生成AIでは、モデルが学習していない画風(テイスト)や物を、少ない画像からあとで加えるのに使われています。

使うときは、もとのモデルに LoRA のファイルを付け、プロンプト(画像を作るときに入れる文章)を入れて画像を作る流れです。

もとの重みを固定して差分だけを学ぶ

固定したもとの重みに、2つの小さな行列を掛け合わせた差分を足す仕組みを表した図
もとの重みは固定し、2つの小さな行列で表す差分だけを学習する

LoRA の仕組みは、もとのモデルの重みを固定したまま、重みに足す差分だけを学習することです。重みは、モデルの中で計算に使う、学習で決まる数値です。

差分は、モデルの層(計算の段)ごとに入れる、2つの小さな行列で表します。行列は、数を縦横に並べたものです。

2つの行列を掛け合わせると、もとの重みと縦横の数が同じ差分になります。

学習するのはこの2つの行列だけなので、モデル全体を学習し直すより、LoRA は学習が速く済みます。

LoRAの効き方の強さ

LoRA の強さを 0・あいだの値・1 にしたときの、効き方を並べた図
強さは、足す差分をどれだけ使うかを決める値

LoRA は、使うときに効き方の強さを変えられます。強さは、足す差分をどれだけ使うかを決める値で、道具によって strength や scale などの名前で出ます。

強さを 0 にすると、もとのモデルの重みだけを使うのと同じです。1 にすると、学習した LoRA をそのまま全部使う状態になります。

あいだの値にすると、LoRA の効き方を弱められます。

LoRAとモデル全体のファイルの大きさ

モデル全体を学習し直したファイルと、LoRA のファイルの大きさを比べた表
学ぶのが差分だけなので、LoRA のファイルはモデル全体のファイルより小さい

LoRA のファイルは、モデル全体を学習し直したファイルより小さくなります。保存するのが、差分を表す2つの行列だけだからです。

Python(プログラムの言語)で画像生成AIを動かす道具の Diffusers の説明では、モデル全体を学習し直したファイルは数GB です。LoRA のファイルは、数百MB ほどとされています。

LoRA の論文の GPT-3(文章を作るモデル)の例では、保存するファイルが 350GB から 35MB と、約1万分の1になりました。小さくなる割合は、モデルと条件で変わります。

LoRA を使うときも、もとのモデルのファイルは要ります。そのうえで画風をいくつも加えたいなら、画風ごとにモデル全体を学習し直したファイルを持つより、LoRA のほうが置き場所を取りません。

建築パースでLoRAを使う例

テイストを学習させた LoRA と手描き風の LoRA を、ControlNet とプロンプトと組み合わせる2つの試みの図
建築の実務者の2つの試み。どの LoRA でも同じように効くとは限らない

建築のパースでは、LoRA で図面やパースのテイストをそろえたり、手描き風にしたりする試みがあります。

立面図の着色で LoRA の学習を試した実務者は、学習させると同じテイストで複数の図面やパースを作れると書いています。

その理由に挙げているのは、ControlNet(線や深度の画像で形を寄せる仕組み)とプロンプトだけでは、微妙なずれが出ることがある点です。

手描き風の建築の画像で学習した LoRA を、ControlNet とプロンプトと組み合わせて、手描き風のパースを作った例もあります。

どちらも実務者の試みです。どの LoRA でも同じように効くとは限りません。

LoRAの仕組みを知ってパースのテイストづくりに生かそう

LoRA の意味・仕組み・大きさ・強さ・建築の例の5つを、1つずつ並べた表
LoRA の意味・仕組み・大きさ・強さ・建築での使われ方のまとめ

LoRA は、もとの重みを固定し、差分だけを学んで加える方法です。この記事で解説したことは、次の5つです。

  • LoRA は、少ない計算量の追加学習で、生成AIを用途に合わせて調整する方法
  • もとの重みは固定し、2つの小さな行列で表す差分だけを学習する
  • 使うときに効き方の強さを変えられ、0 でもとのモデルと同じ、1 で LoRA を全部使う
  • ファイルは、モデル全体を学習し直したファイル(数GB)より小さい(数百MB)
  • 建築では、図面やパースのテイストをそろえたり、手描き風にしたりする試みがある

LoRA を使うときは、強さを変えて作り比べ、もとのモデルに何が加わったかを見てみてください。

あわせて読みたい

  • 「Textual Inversion(Embedding)|新しい言葉の数値だけを学ぶ仕組み」(準備中) — LoRA と違い、言葉の数値だけを学ぶ方法を知りたいとき
  • 「モデルのファイルとファインチューニング|チェックポイント」(準備中) — モデル全体を学習し直す追加学習を知りたいとき
  • ComfyUIのLoRAの読み込み|Load LoRA・強さ — ComfyUI で LoRA を読み込み、強さを決める操作を知りたいとき
  • ComfyUIのLoRAの学習|組み込みの学習ノード — 自分の画像で LoRA を学習させる操作を知りたいとき

会員登録(無料)

記事やテーマのお気に入り・学習履歴・フォローが使えます。

この記事について

PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。