スケール則の終わり

LLM のスケール則はモデルサイズ、データセットサイズ、学習に使う計算量の３つを適切な比率で増加させれば、LLM の性能は増加量に比例して向上する、という経験則だ。

しかし LLM のデータセットは Web のスクレイピングデータで、それで差別化するのが困難になった。その結果 CoT や RLVR のような計算リソースをつぎ込んで性能を上げる手法を使うようになった。現在の方向では最も低コストな計算リソースを所有する企業が勝者になり、それは自社で学習・推論用 TPU を設計・製造できる Google になる可能性が高い。

続きを読む