Waifu Diffusion で効率的に画像を生成する
カテゴリ：deeplearning
プロンプトリストはプロンプトやよく検索されているプロンプト（R18）、danbooru タグ検索を参照。
目次
Textual Inversion の使い方
カテゴリ：deeplearning
目次
LLM を使ったストーリー作成
カテゴリ：deeplearning
LLM を使ったストーリー作成が一発でうまくいく事はない。なので、ストーリー作成の各工程ごとにアイデア出しの補助をさせることでストーリーを作成する。
AI のべりすとは日本語が使えるが性能は高くない。無料で公開されているローカル実行できる LLM を英語で使ったり、Chat GPT を使う方が効率がいい。AI のべりすとの強みはアダルト文章を日本語で出力できることだ。
目次
よく検索されているプロンプト（R18）
カテゴリ：deeplearning
Danbooru タグ検索
カテゴリ：deeplearning
LoRA の学習方法
カテゴリ：deeplearning
- 画像加工
- キャプション・設定ファイル
- キャプション方式
- タグ編集アプリ
- キャプションファイルの先頭にタグを追記するコマンド
- 設定ファイルの class_tokens
- トリガーワード
- 画風学習のキャプションファイル
- キャラ学習のキャプションファイル
- keep_tokens
- VRAM 削減
- データの水増し
- 過学習防止
- 学習
- fp16 と bf16
- サンプルの出力
- 学習方式の選択
- リピート数とエポック数
- network_dim
- dim_from_weights network_weights
- network_alpha base_weights base_weights_multiplier
- min_snr_gamma
- debiased_estimation
- zero_terminal_snr
- v_parameterization
- noise_offset
- 学習率
- スケジューラ
- オプティマイザ
- 階層別学習率
- 高速化
- 省メモリ設定
- logging_dir
- SDXL
- 検証
- 学習の再開
- メタデータの閲覧
NovelAI Diffusion V3 の改善点
カテゴリ：deeplearning
AUTOMATIC1111 の便利な機能
カテゴリ：deeplearning
目次
- デティール追加
- img2img
- img2img のステップ数を直接指定
- Only masked（マスクした部分を拡大してから再生成して合成：旧 Inpaint at full rsolution）
- Batch img2img（フォルダ内の画像すべてに img2img を実行）
- Face Restration（顔を修復する機能）
- Loopback（img2img の結果に img2img を実行する）
- --gradio-img2img-tool（簡易ペイントツール追加）
- 色の補正
- Detection Detailer（顔のマスクを自動生成してくれる Extension）
- Depth-guided model（深度情報を使った img2img）
- Novel AI のような noise strength
- 操作
- Generate ボタンを右クリック > Generate forever で止めるまで生成。止めるときは右クリック > cancel
- Ctrl + Enter で Generate
- Ctrl + Z プロンプトを元に戻す
- スライダーをクリックした後十字キーで１ずつ増減できる
- Alt + ← or → カンマ区切りの文字を選択して左右移動（1.5.0 以降）
- 検証
- 高速化
- forgeを使う
- 532.03 以降の GeForce ドライバを使う
- xformers
- FlashAttention-2
- --opt-sdp-attention（VRAM 消費量が増えるが xFormers より速くなるかもしれない）
- Token merging
- HyperTile
- ライブプレビューを切る
- pytorch 2.0（RTX4000番台で高速化する）
- TensorRT Extension for Stable Diffusion Web UI
- TensorRT support for webui
- Lsmith
- Latent Consistency Model
- Adversarial Diffusion Distillation
- SDXL Turbo
- Extension など
- Config Presets（設定保存）
- sd_web_ui_preset_utils（設定保存）
- Booru tag autocompletion for A1111（タグ補完）
- extensionEditor（AUTOMATIC1111向けのプロンプトエディター）
- Dataset Tag Editor（タグで画像を編集したり、タグを編集するエディタ）
- Helper GUI for manual tagging/cropping（画像のタグ管理エディタ）
- embedding editor（768 個ある潜在表現ベクトルを手動で調整）
- multi-subject-render（背景とオブジェクトとを雑コラしてくれる）
- Regional Prompter （プロンプトの効く領域を指定）
- Latent Couple extension（プロンプトの効く領域を指定）
- Depth map library and poser（手の深度マップライブラリ）
- Cutoff - Cutting Off Prompt Effect（色移り防止）
- ABG_extension （背景透過）
- 【Stable Diffusion】WebUIに必ず導入したいおすすめの拡張機能40選+α【Extensions】
- animeDiff
- Controlnet
- ポーズ・構図の指定と着色ができる。Image2Image はグレースケール画像の着色ができなかったが Controlnet ではそれができる。
- ControlNet の新モデル Anystyle
- Reference-Only（参考画像を基にイラスト作成）
- ControlNetでポーズや構図を指定してAIイラストを生成する方法
- AUTOMATIC1111+ControlNetのつかいかた2(目当ては自動塗り)
- AIで適当な線画を清書し、さらに色を塗って高品質なイラストに仕上げる方法【ControlNet活用術】
- 画像生成AIを線画整えツールや自動彩色ツールにする
- Character bones that look like Openpose for blender _ Ver_6 Depth+Canny+Landmark（Blender 上でポージングできるツール）
- 「ControlNet 1.1」の新機能まとめ！新しいモデルや改善点を紹介【Stable Diffusion】
- ControlNet(v1.1)の詳しい解説！輪郭やポーズから思い通りの絵を書かせる
- 入力線画を全く変えずに画像生成AIに色塗りさせる方法
- MLSD
- プリプロセッサの dw_openpose（写真から棒人間を作成して入力）
- Multi-Controlnet
- Extension
- Model
Stable Diffusion のファインチューンの Tips
カテゴリ：deeplearning
LoRA はLoRA の学習方法へ移動した。
LoRA 以外の情報（Hypernetwork や Textual Inversion、Dreambooth）はStable Diffusion の古い情報へ移動した。
目次
U-Net の学習
わかりやすい解説として「U-Net は画像のデノイズを行う」という説明がされるが、これは正確には間違いだ。U-Net は除去すべきノイズを出力する。
学習のプロセスは以下のようになる。
- ランダムにタイムステップ t ∈ [0, 1000]を選ぶ
- 教師画像にタイムステップ t に対応するノイズを付与する
- U-Net にノイズを付与した教師画像とタイムステップ t とコンテクスト（embedding 化したキャプション）を入力
- U-Net が除去すべきノイズを出力する
- 付与したノイズと U-Net が出力したノイズとの差分から平均二乗誤差（MSE）を計算する
- 差分を逆伝播して学習する
タイムステップはノイズの量をきめる。0 が教師画像そのもので、1000 が純粋なノイズ画像だ。
概要
2023 年８月現在 LoRA 一強の状況で、Textual Inversion・Hypernetwork・Dreambooth はほとんど使われていない。ただし LoRA のファインチューン方式としての Dreambooth は現在も使用されている。
NoobAI-XL 1.0 のアーティストブレンド例
カテゴリ：deeplearning