広告
広告

AUTOMATIC1111 Web UI の Clip skip とは何か

カテゴリ:deeplearning

Stable Diffusion 1.x で使われている CLIP

続きを読む

Waifu Diffusion で効率的に画像を生成する

カテゴリ:deeplearning

目次

ワークフロー

便利なツール

差分生成の実例

どのツールを選ぶか

Stable Diffusion のモデルリンク

モデルマージ

Stable Diffusion の解説

Guidance Scale(CFG)

サンプラーの比較

シード

Denoising Strength

バッチカウントとバッチサイズ

GPU の種類と画像生成時間

Tips

上手く描けない場合はアスペクト比を変えてみる

頭や脚がフレームアウトする

解像度を上げると頭や体が複数融合する

Denoising Strength を下げると画質が落ちる

ラフを量産する

細部の修正

手の修正

高解像度化

色のコントロール

ディティールが欲しいとき

ファインチューニング

プロンプト

プロンプトの探し方

外部のプロンプトリンク

ツール

プロンプトの語順

プロンプトのウェイト

ネガティブプロンプトで画力を上げる※重要

AUTOMATIC1111 の Prompt Editing※重要

Danbooru タグ列挙法(Waifu Diffusion v1.2 限定)

Danbooru タグ列挙法(Waifu Diffusion v1.3 限定)

Stable Diffusion のプロンプト Tips

単語チートシート

画力が上がる作品タグ
天気・時間帯
場所・背景

人数

kawaii

ロリ

褐色

映す範囲・アングル

等身

年齢

表情

メイク

感情

眼鏡

透過

体形

ポーズ

エフェクト

カメラ・ライティング
作風

検証

AI が描いた絵の見分け方

NSFW(職場閲覧注意)

単語集

場所

人数

性器

触手

表情

体位

ポーズ

脱衣

露出

装飾

マヨネーズ

精液

ゴム

暴力

作例


解説リンク

続きを読む

ChatGPT Mar 23 Version にガチャの確率計算器を作らせる

カテゴリ:deeplearning

続きを読む

AUTOMATIC1111 の Lora・Dreambooth の使い方

カテゴリ:deeplearning

目次

LoRA

kohya 版 LoRA を使う

Dreambooth

正則化画像の必要性

Parameters

Advanced

Concepts

A Few Dreambooth Observations and Tips, Leafier Closer Shots With the New Vae File (higher CFG)

モデルの圧縮(脱水)

続きを読む

AUTOMATIC1111 の便利な機能

カテゴリ:deeplearning

目次

AUTOMATIC1111のアップデート

git の操作

アップスケーラー

Highres. fix(高解像度時に人が融合しなくなる)

Stable Diffusion Upscale(img2img を使ったアップスケーラー)

Seed resize(解像度を変更しても大体同じ出力)

アウトペインティング(作成した画像に追記して拡大)

img2img

img2img のステップ数を直接指定

Only masked(マスクした部分を拡大してから再生成して合成:旧 Inpaint at full rsolution)

Batch img2img(フォルダ内の画像すべてに img2img を実行)

Face Restration(顔を修復する機能)

Loopback(img2img の結果に img2img を実行する)

--gradio-img2img-tool(簡易ペイントツール追加)

色の補正

Detection Detailer(顔のマスクを自動生成してくれる Extension)

Depth-guided model(深度情報を使った img2img)

Novel AI のような noise strength

プロンプト

ネガティブプロンプト(出てほしくない絵を指定)

Attention/emphasis(語の強調)

Styles(プロンプトを保存)

CLIP interrogator(画像のプロンプトを推測)

Deepdanbooru(画像の Danbooru タグを表示する)

Prompt Editing(画像生成の途中でプロンプトを変更)

Alternate Prompt(1ステップごとに語を切り替え)

AND

BREAK(プロンプト分割)

Dynamic prompt(ランダムプロンプト)

text2prompt

ファインチューン

Embedding (.pt や .bin ファイル)を使う

CLIP Aesthetic を使う

Hypernetwork を使う

Lora を使う。

VAE を使う

操作

Generate ボタンを右クリック > Generate forever で止めるまで生成。止めるときは右クリック > cancel

Ctrl + Enter で Generate

Ctrl + Z プロンプトを元に戻す

スライダーをクリックした後十字キーで1ずつ増減できる

検証

X/Y plot(パラメーターの検証に使う)

Prompt matrix

Visualize Cross Attention(プロンプトが画像のどこに効いているか可視化)

DAAM Extension for Stable Diffusion Web UI(プロンプトが画像のどこに効いているか可視化)

UI

日本語化

ダーク UI

Quicksettings(UI 上部に設定を表示)

ui-config.json(初期設定変更)

そのほか

Extensions(追加機能)

xformers(高速化)

Lsmith(高速化。ただしWindows には未対応)

メタデータにモデル名を追加

任意解像度

Stable Diffusion 2.0

使用する GPU の選択

Variations(ちょっと違う絵を再生成)

Checkpoint Merger(ckpt ファイルのブレンド)

user.css(UI のレイアウト変更)

4GB の VRAM で実行

画像ファイルへのデータ埋め込み

ローカルネットワーク(スマホ)から UI にアクセス

通知音を鳴らす

[WebUI] Stable DiffusionベースモデルのCLIPの重みを良いやつに変更する

Extension など

Config Presets(設定保存)

sd_web_ui_preset_utils(設定保存)

Booru tag autocompletion for A1111(タグ補完)

extensionEditor(AUTOMATIC1111向けのプロンプトエディター)

Dataset Tag Editor(タグで画像を編集したり、タグを編集するエディタ)

Helper GUI for manual tagging/cropping(画像のタグ管理エディタ)

embedding editor(768 個ある潜在表現ベクトルを手動で調整)

multi-subject-render(背景とオブジェクトとを雑コラしてくれる)

Latent Couple extension(プロンプトの効く領域を指定)

Depth map library and poser(手の深度マップライブラリ)

Cutoff - Cutting Off Prompt Effect(色移り防止)

Controlnet

ポーズ・構図の指定と着色ができる。Image2Image はグレースケール画像の着色ができなかったが Controlnet ではそれができる。

ControlNetでポーズや構図を指定してAIイラストを生成する方法

AUTOMATIC1111+ControlNetのつかいかた2(目当ては自動塗り)

AIで適当な線画を清書し、さらに色を塗って高品質なイラストに仕上げる方法【ControlNet活用術】

Character bones that look like Openpose for blender _ Ver_6 Depth+Canny+Landmark(Blender 上でポージングできるツール)

Multi-Controlnet

Multi ControlNetによる画像の構図制御

Extension

sd-webui-controlnet(こちらの方がユーザーが多い)

Unprompted

モデルマージ

続きを読む

Blender 用の PC スペックについて

カテゴリ:blender

Blender 用の PC で一番重要なのはメモリ容量で、その次が CPU や GPU 性能だ。なぜならメモリ容量が不足する場合、できない作業があるからだ。CPU(GPU)性能は作業速度に影響を与えるだけで、CPU(GPU)性能が低いからできない作業はほとんどない。

レンダリング速度やビューポートの応答性を重視するなら GPU に予算をかける。

シミュレーションやアニメーションを高速化したいなら CPU に予算をかける。

CPU や GPU のレンダリング速度は Blender Open Data が参考になる。

メモリ容量

続きを読む

VRChat アバター最適化メモ

カテゴリ:unity

よくあるケース

過剰ダイナミックボーン

全身アルファブレンドマテリアル

メッシュ・マテリアルの未結合

ポリゴン数

VRChat でアバターのポリゴン数が問題になることは少ない。目安として使われるポリゴン数は7万と3万2千で、これはPC 版アバターパフォーマンスランクが根拠になっている。

Quest ではポリゴン数1万が目標になる。これは Quest 版アバターパフォーマンスランク の Good 評価に相当し、Good は PhysBones が使える中での最高ランクだ。

目次

ボトルネックの特定

CPU

GPU

PC 版アバターパフォーマンスランク

外部リンク

Unityツール

ボトルネックの特定

続きを読む

Blender の輪郭抽出技法まとめ

カテゴリ:blender

目次

概要

直接テクスチャや頂点に描く方法

マテリアルのフレネルノードを使う方法

ラインアート(2.93)

画像をグリースペンシルオブジェクトへ変換(2.91)

背面法(Inverted Hull)

ソリッド化モディフィア

ソリッド化モディフィアを使う

任意の場所に線を置く

ソリッド化モディフィアの線の太さを調整する

線幅の均一化

板ポリゴンで背面法を使う

毛先の頂点を結合しない場合

色トレス

頂点を法線方向に動かす

ジオメトリノード

ジオメトリノードで背面法

線幅の均一化

ディスプレイスモディフィア

ディスプレイスモディフィアを使う

ベベルモディフィア

ベベルで任意の辺に線を出す

辺分離モディフィア

辺分離モディフィアで角度を使って線を出す

ジオメトリノード(3.1)

フリースタイル

フリースタイルの線のみ取得する

ワークベンチレンダラーと組み合わせて交差線を出す

オブジェクトの交差する部分に線を出す

コンポジター

アドオン

一般的な構成

ビューポートコンポジター(3.5)

アンチエイリアス

アンチエイリアスノード(2.93)

ブラーを使った AA

デノイズノード(2.81)

フィルターノードで線画抽出

法線/深度を使う

ワールド位置を使う

Cycles・Eevee でクリース・交差線検出

明度差/色を使う

Object/Material ID を使う

覆い焼き(Dodge)を使う

頂点色を使ってソーベルの輪郭抽出をコントロールする

輪郭の太さを変更する

余計な線を消す方法

オブジェクトの交差する部分に線を出す

UV

UV を直接使う

三次元 UV を出力する

Cycles・Eevee

Cryptomatte を使う(Cycles 2.80,Eevee 2.92)

AOV を使う(Cycles 2.82,Eevee 2.92)

レンダラー依存

Blender レンダー

ポストプロセスの辺

Blender レンダーでアンチエイリアスをかける

穴にできた線を消す

Cycles

マテリアルの Ambient Occlusion・凸部分を使う

ベベルノードを使う

OSL で輪郭抽出

アドオン

外部リンク

続きを読む