Wan 2.1 の論文メモ
カテゴリ：deeplearning
スケール則の終わり
カテゴリ：deeplearning
LLM のスケール則はモデルサイズ、データセットサイズ、学習に使う計算量の３つを適切な比率で増加させれば、LLM の性能は増加量に比例して向上する、という経験則だ。
そしてこのスケール則は以下の要因で終わりに近づいている。
LoRA の学習方法
カテゴリ：deeplearning
- 画像加工
- トリミング
- 背景除去
- 白背景
- 物体検出
- Aspect Ratio Bucketing
- キャプション・設定ファイル
- キャプション方式
- タグ編集アプリ
- キャプションファイルの先頭にタグを追記するコマンド
- 設定ファイルの class_tokens
- トリガーワード
- 画風学習のキャプションファイル
- キャラ学習のキャプションファイル
- keep_tokens
- VRAM 削減
- fp8_base
- mixed_precision
- xformers
- gradient_checkpointing gradient_accumulation_steps
- データの水増し
- 過学習防止
- 学習
- fp16 と bf16
- サンプルの出力
- 学習方式の選択
- リピート数とエポック数
- network_dim
- dim_from_weights network_weights
- network_alpha base_weights base_weights_multiplier
- min_snr_gamma
- debiased_estimation
- zero_terminal_snr
- v_parameterization
- noise_offset
- 学習率
- スケジューラ
- オプティマイザ
- 階層別学習率
- 高速化
- 省メモリ設定
- logging_dir
- SDXL
- 検証
- 学習の再開
- メタデータの閲覧
Python 3.11.6 で reforge を使う
カテゴリ：deeplearning
ROCm の whl のサポートが 3.11 からなので、3.11 で動作することは重要だ。
NoobAI のテキストエンコーダーは壊れている
カテゴリ：deeplearning
VRAM 8 GB・ComfyUI で NetaYume-Lumina-Image-2.0
カテゴリ：deeplearning
Apple の The Illusion of Thinking の誤解
カテゴリ：deeplearning
X（旧 Twitter）では Apple の The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity という論文が「LRM は推論をしてるのではなくパターンマッチングをしているだけ」と主張しているという、間違いを信じている人が多い。
しかし、この論文はそのような主張はしていない。
実際の論文の内容
torch と cuda の tips
カテゴリ：deeplearning
CUDA は後方互換性があるので、nvcc -V の出力より前のライブラリでビルドされているものも実行できる。
Pytorch モデルを fp16 で動作させる方法
カテゴリ：deeplearning
pytorch のモデルは half() を呼び出せば fp16 になる。しかし、LayerNormalization などのレイヤーは非常に小さな値を扱うので、fp32 で動作させた方が良い。
SDXL Q8_0 量子化が流行らない理由
カテゴリ：deeplearning
VRAM を 800 MB 節約できるだけで、生成速度は fp16 と変わらないから。