ControlNet のネットワーク構造
カテゴリ：deeplearning
ControlNet は LoRA や Hypernetwork のように追加のネットワークを挿入するタイプのファインチューン技法だ。ControlNet のネットワークは U-Net の IN と MID のコピーで、学習開始前の状態ではウェイトも丸々コピーする。
通常は U-Net にノイズ画像を入力してデノイズするように学習させる。しかし ControlNet の入力には目的タスクに応じて線画画像や棒人間などを入力して、コピーした U-Net の IN と MID を学習させる。
Stable Diffusion XL の改善点
カテゴリ：deeplearning
sdxl_report.pdf
Textual Inversion の使い方
カテゴリ：deeplearning
目次
openvino（CPU）版で Waifu Diffusion を実行する（Windows, Linux）
カテゴリ：deeplearning
AUTOMATIC1111 の Dreambooth の使い方
カテゴリ：deeplearning
LoRA はLoRA の学習方法に移動した。
目次
- 概要
- 正則化画像の必要性
- Parameters
- Advanced
- Concepts
- A Few Dreambooth Observations and Tips, Leafier Closer Shots With the New Vae File (higher CFG)
- モデルの圧縮（脱水）
NovelAI Aspect Ratio Bucketing の翻訳
カテゴリ：deeplearning
これは NovelAI Aspect Ratio Bucketing の翻訳 だ。
要約すると、Stable Diffusion は任意の解像度とアスペクト比で学習可能だが、バッチごとに解像度は固定する必要がある（固定しないと学習が遅い）。なのでバッチを実行する際にアスペクト比を選び、そのバッチでは選択したアスペクト比の画像のみを学習させる。原文では、アスペクト比の一致しない学習画像の加工処理を実行時にしているように見えるが、実際は前処理でスケール＆クロップしているものと思われる。