Diffusion-DPO（Diffusion-Direct Preference Optimization）の学習方法

Diffusion-DPO Diffusion Model Alignment Using Direct Preference Optimization は SD3 でも使われた強化学習手法。SD3 ではランク 128 の LoRA として作成している。

ただし、画風や新しい概念の学習のような一般的なタスクは SFT（教師ありファインチューニング）が適している。「○○がうまく描けない」というニーズは○○が言語化できているので SFT を使うべき。SFT はデータセットを用意しやすいし学習負荷も低い。

Diffusion-DPO を使うケース

• 言語化が困難だが描いてほしくないもの（暴力的・性的表現）がある
• ユーザーの選好データを持っている
• 細部の表現の崩れを改善したい

SFT（教師ありファインチューニング）と Diffusion-DPO との違い

続きを読む