Stable Diffusion のファインチューンの Tips

LoRA はLoRA の学習方法へ移動した。

LoRA 以外の情報（Hypernetwork や Textual Inversion、Dreambooth）はStable Diffusion の古い情報へ移動した。

目次

• U-Net の学習
• 概要
• 間違いやすいポイント
• Danbooru タグの検査
• キャプション方式
• 前処理
• タグ編集 Extension
• 画像加工ツール
• 学習画像に２人以上人がいる
• Danbooru タグの検査

• 画風の定義
• 学習画像のキャプションファイル
• 複数のアスペクト比で学習させる
• 設定
• プレビューの固定
• CLIP Skip は任意
• VAE は外しても外さなくてもいい

• 学習時
• 良くない兆候
• 崩壊した後に持ち直すのを繰り返す
• 学習率と局所的最適解
• ステップ数より epoch（エポック）が重要
• Loss の監視は無意味
• 学習画像ごとに Loss を出力する
• 学習の失敗
• Preprocess（前処理）
• 画像加工ツール
• 物体検出
• 学習テクニック
• 学習データ
• 画風を学習させる場合のキャプション（Textual Inversion・Hypernet）
• 新システムのファインチューンについて
• ディープラーニングチューニングプレイブック日本語版
• その他の情報

U-Net の学習

わかりやすい解説として「U-Net は画像のデノイズを行う」という説明がされるが、これは正確には間違いだ。U-Net は除去すべきノイズを出力する。

学習のプロセスは以下のようになる。

1. ランダムにタイムステップ t ∈ [0, 1000]を選ぶ
2. 教師画像にタイムステップ t に対応するノイズを付与する
3. U-Net にノイズを付与した教師画像とタイムステップ t とコンテクスト（embedding 化したキャプション）を入力
4. U-Net が除去すべきノイズを出力する
5. 付与したノイズと U-Net が出力したノイズとの差分から平均二乗誤差（MSE）を計算する
6. 差分を逆伝播して学習する

タイムステップはノイズの量をきめる。0 が教師画像そのもので、1000 が純粋なノイズ画像だ。

概要

2023 年８月現在 LoRA 一強の状況で、Textual Inversion・Hypernetwork・Dreambooth（正則化画像） はほとんど使われていない。

続きを読む