Apple の The Illusion of Thinking の誤解
X(旧 Twitter)では Apple の The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity という論文が「LRM は推論をしてるのではなくパターンマッチングをしているだけ」と主張しているという、間違いを信じている人が多い。
しかし、この論文はそのような主張はしていない。
実際の論文の内容
T2I 拡散モデルの設計メモ
目次
ボックスガチャの確率計算
この記事のボックスガチャは景品を引いても補充されず、各景品を引く確率は同様に確からしいとする。
1つしかないあたりを引く確率
ボックス内に景品が 1000 個入っていて、そのうちあたりが1個入っているとする。このときあたりを1回で引く確率は 1/1000 だ。
2回で引く確率は、1回で引く確率+1回目を外して2回目で引く確率なので 1/1000 + (999/1000) * 1/999;つまり 2/1000。
3回で引く確率は、1/1000 + (999/1000) * 1/999 + (999/1000) * (998/999) * 1/998;つまり 3/1000。
まとめるとボックス内に景品が n 個入っていてあたりの個数が1個の場合、m 回ひいたときにそれが出る確率は m/n。
ガチャの確率計算
計算器はこちら。
目次
当選確率 1% のガチャを 100 回やったときに、ひとつ以上あたる確率は?
当選確率 2% のガチャを 100 回やったときに、ふたつ以上あたる確率は?
当選確率 1%、天井 100 回のガチャがある。このガチャを 250 回やって、5枚あたりが手に入る確率は?
当選確率 2% のガチャを 99% の確率で手に入れるには何回やればいいか?
当選確率 1% のガチャを 100 回やったときに、ひとつ以上あたる確率は?
これは外れる確率 99% のガチャを 100 回連続で外す現象の余事象だ。つまり
1 - 0.99100 = 63.4%
Google でべき乗を計算するのには ^ を使う。以下の式で Google 検索すると、上記の式を計算できる。
1 - 0.99^100
AUTOMATIC1111 の便利な機能
目次
- デティール追加
- Refinier
- CD(Color/Detail) Tuner(色調や書き込み量を調節)
- After Detailer(顔を検出して顔を加筆)
- Dotgeo(hijack) Detection Detailer(顔を検出して顔を加筆)
- 『KakikomiPlus』元の絵を極力保ったままAIによって描きこみを生成するソフト(スタンドアロンアプリ)
- LLuL - Local Latent upscaLer(指定した矩形の箇所を加筆)
- Detection Detailer(マスクの自動生成)
- img2img
- img2img のステップ数を直接指定
- Only masked(マスクした部分を拡大してから再生成して合成:旧 Inpaint at full rsolution)
- Batch img2img(フォルダ内の画像すべてに img2img を実行)
- Face Restration(顔を修復する機能)
- Loopback(img2img の結果に img2img を実行する)
- --gradio-img2img-tool(簡易ペイントツール追加)
- 色の補正
- Detection Detailer(顔のマスクを自動生成してくれる Extension)
- Depth-guided model(深度情報を使った img2img)
- Novel AI のような noise strength
- プロンプト
- ファインチューン
- 操作
- Generate ボタンを右クリック > Generate forever で止めるまで生成。止めるときは右クリック > cancel
- Ctrl + Enter で Generate
- Ctrl + Z プロンプトを元に戻す
- スライダーをクリックした後十字キーで1ずつ増減できる
- Alt + ← or → カンマ区切りの文字を選択して左右移動(1.5.0 以降)
- 検証
- X/Y plot(パラメーターの検証に使う)
- Prompt matrix
- Visualize Cross Attention(プロンプトが画像のどこに効いているか可視化)
- DAAM Extension for Stable Diffusion Web UI(プロンプトが画像のどこに効いているか可視化)
- UI
- 高速化
- forgeを使う
- sd-forge-blockcache
- 532.03 以降の GeForce ドライバを使う
- xformers
- FlashAttention-2
- --opt-sdp-attention(VRAM 消費量が増えるが xFormers より速くなるかもしれない)
- Token merging
- HyperTile
- ライブプレビューを切る
- pytorch 2.0(RTX4000番台で高速化する)
- TensorRT Extension for Stable Diffusion Web UI
- TensorRT support for webui
- Lsmith
- Latent Consistency Model
- Adversarial Diffusion Distillation
- SDXL Turbo
- 省メモリ
- そのほか
- Extension など
- Config Presets(設定保存)
- sd_web_ui_preset_utils(設定保存)
- Booru tag autocompletion for A1111(タグ補完)
- extensionEditor(AUTOMATIC1111向けのプロンプトエディター)
- Dataset Tag Editor(タグで画像を編集したり、タグを編集するエディタ)
- Helper GUI for manual tagging/cropping(画像のタグ管理エディタ)
- embedding editor(768 個ある潜在表現ベクトルを手動で調整)
- multi-subject-render(背景とオブジェクトとを雑コラしてくれる)
- Regional Prompter (プロンプトの効く領域を指定)
- Latent Couple extension(プロンプトの効く領域を指定)
- Depth map library and poser(手の深度マップライブラリ)
- Cutoff - Cutting Off Prompt Effect(色移り防止)
- ABG_extension (背景透過)
- 【Stable Diffusion】WebUIに必ず導入したいおすすめの拡張機能40選+α【Extensions】
- animeDiff
- Controlnet
- ポーズ・構図の指定と着色ができる。Image2Image はグレースケール画像の着色ができなかったが Controlnet ではそれができる。
- ControlNet の新モデル Anystyle
- Reference-Only(参考画像を基にイラスト作成)
- ControlNetでポーズや構図を指定してAIイラストを生成する方法
- AUTOMATIC1111+ControlNetのつかいかた2(目当ては自動塗り)
- AIで適当な線画を清書し、さらに色を塗って高品質なイラストに仕上げる方法【ControlNet活用術】
- 画像生成AIを線画整えツールや自動彩色ツールにする
- Character bones that look like Openpose for blender _ Ver_6 Depth+Canny+Landmark(Blender 上でポージングできるツール)
- 「ControlNet 1.1」の新機能まとめ!新しいモデルや改善点を紹介【Stable Diffusion】
- ControlNet(v1.1)の詳しい解説!輪郭やポーズから思い通りの絵を書かせる
- 入力線画を全く変えずに画像生成AIに色塗りさせる方法
- MLSD
- プリプロセッサの dw_openpose(写真から棒人間を作成して入力)
- Multi-Controlnet
- Extension
- Model
LoRA の学習方法
- 画像加工
- トリミング
- 背景除去
- 白背景
- 物体検出
- Aspect Ratio Bucketing
- キャプション・設定ファイル
- キャプション方式
- タグ編集アプリ
- キャプションファイルの先頭にタグを追記するコマンド
- 設定ファイルの class_tokens
- トリガーワード
- 画風学習のキャプションファイル
- キャラ学習のキャプションファイル
- keep_tokens
- VRAM 削減
- mixed_precision
- xformers
- gradient_checkpointing gradient_accumulation_steps
- データの水増し
- 過学習防止
- 学習
- fp16 と bf16
- サンプルの出力
- 学習方式の選択
- リピート数とエポック数
- network_dim
- dim_from_weights network_weights
- network_alpha base_weights base_weights_multiplier
- min_snr_gamma
- debiased_estimation
- zero_terminal_snr
- v_parameterization
- noise_offset
- 学習率
- スケジューラ
- オプティマイザ
- 階層別学習率
- 高速化
- 省メモリ設定
- logging_dir
- SDXL
- 検証
- 学習の再開
- メタデータの閲覧
NovelAI Diffusion V3 の改善点
ガチャの確率の収束を考えても意味がない
ガチャの各試行は独立しているので、過去の結果は未来に影響を与えない。当選確率1%のガチャを 1,000 回連続で外しても、次回当選する確率は1%だ。過去にガチャを無限回引いたと仮定してみてほしい。それは未来のガチャの結果に影響を与えるだろうか。
下振れ確率の計算
Waifu Diffusion で効率的に画像を生成する
プロンプトリストはプロンプトやよく検索されているプロンプト(R18)、danbooru タグ検索を参照。
目次
- ワークフロー
- ツールの選択
- Stable Diffusion のモデルリンク
- Stable Diffusion の解説
- Tips
- 上手く描けない場合(胴が長いなど)はアスペクト比を変えてみる
- クオリティタグを使う
- CFG Scale を上げる
- 解像度を上げると頭や体が複数融合する
- Denoising Strength を下げると画質が落ちる
- 細部の修正
- 手の修正
- 手の自由度
- 高解像度化
- 色のコントロール
- 顔に影ができる
- ファインチューニング