大規模言語モデル(LLM)の開発では、モデルを大きくし、学習データと計算量を増やすほど性能が上がるという前提が長く置かれてきました。
その前提を式で示したのがスケーリング則で、モデルの大きさ・データの量・計算量を増やしたとき、誤差がべき乗の形で滑らかに下がるという経験則です。
2020 年の OpenAI の論文がその形を示し、2022 年の DeepMind の論文が「データをどれだけ増やすか」の答えを書き換えました。
2 本の論文の数字と、両者の結論が食い違った理由が分かると、新しいモデルの発表でパラメータ数と学習トークン数が並べて書かれる理由にも説明がつきます。
スケーリング則は誤差の下がり方を表す経験則
出発点は、Kaplan らが 2020 年 1 月に公開した論文「Scaling Laws for Neural Language Models」です。
Scaling Laws for Neural Language Models(arXiv)
この論文は、言語モデルのテストでの損失が、パラメータ数・データ量・学習の計算量のそれぞれに対してべき乗則で下がると報告しました。
損失は、モデルが次のトークンをどれだけ外したかを表す数値で、小さいほど予測が当たっていることを意味します。
要旨によると、傾向の一部は 7 桁を超える規模の範囲で成り立っていました。
一方で、層の深さや幅といったモデルの形の違いは、広い範囲で結果にほとんど影響しなかったと書かれています。
性能を決めるのは形より規模だ、というのがこの論文の大きな主張でした。
「則」と呼ばれていますが、理論から導かれた法則ではありません。
要旨の最初の文にも empirical(経験的な)とあるように、多数の学習を実際に回した結果に式を当てはめたものです。
倍にしても損失は 5% しか下がらない
論文は、ほかの 2 つが足を引っ張らない条件で、損失が 1 つの量だけで決まる形の式を示しています。
パラメータ数 N の場合は、次のような形です。
L(N) = (Nc / N) ^ 0.076 # N は埋め込み層を除いたパラメータ数
2 ^ (-0.076) ≒ 0.95 # N を 2 倍にすると損失は約 0.95 倍
指数の値は、増やすものごとに次のとおりでした。
| 増やすもの | 記号 | 指数(Kaplan ら) |
|---|---|---|
| パラメータ数(埋め込みを除く) | N | 約 0.076 |
| 学習データのトークン数 | D | 約 0.095 |
| 最適に配分したときの学習の計算量 | Cmin | 約 0.050 |
論文自身も、パラメータ数を 2 倍にすると損失は 2 の −0.076 乗、約 0.95 倍になると読み方を添えています。
倍にしても 5% ほどしか下がらない、ゆっくりした下がり方だと分かります。
それでもこの式に価値があるのは、下がり方が予測できるからです。
小さなモデルで式を当てはめておけば、大きなモデルに計算資源を注ぎ込む前に結果の見当が付けられます。
なお、学習の計算量は「パラメータ数 × 学習トークン数 × 6」で見積もる近似がよく使われます。
Kaplan らは、逆伝播に順伝播のおよそ 2 倍の計算がかかるとして、1 トークンあたり約 6N 回の演算と置きました。
計算量が決まっているとき何に配るか
計算量の上限が決まっているなら、それをモデルの大きさとデータの量にどう配るかが次の問いになります。
Kaplan らの答えは、モデルを大きくするほうに多く配るというものでした。
要旨には、計算効率が最もよいのは非常に大きなモデルを比較的少ないデータで学習させ、収束するかなり前に止めることだと書かれています。
この答えを書き換えたのが、DeepMind の Hoffmann らが 2022 年 3 月に公開した論文「Training Compute-Optimal Large Language Models」です。
Training Compute-Optimal Large Language Models(arXiv)
彼らは 7,000 万から 160 億を超えるパラメータのモデルを、50 億から 5,000 億トークンで 400 本以上学習させました。
その結果、計算量に見合う学習では、モデルの大きさと学習トークン数を同じ割合で増やすべきだという結論になりました。
モデルを 2 倍にするなら、学習トークン数も 2 倍にするということです。
計算量 C に対して最適なパラメータ数と学習トークン数が C の何乗で増えるかを、論文は次のように比べています。
| 論文 | パラメータ数の指数 | 学習トークン数の指数 |
|---|---|---|
| Kaplan ら(2020) | 0.73 | 0.27 |
| Hoffmann ら(2022・手法 1) | 0.50 | 0.50 |
Hoffmann らの論文の言い方では、Kaplan らの式は計算量を 10 倍にするとき、モデルを 5.5 倍・トークン数を 1.8 倍にすることを勧めていました。
同じ 10 倍を半分ずつの指数で配ると、どちらもおよそ 3.2 倍ずつ増やすことになります。
食い違った理由
Hoffmann らは、Kaplan らがすべてのモデルで学習トークン数と学習率のスケジュールを固定していた点を違いに挙げています。
学習率のスケジュールを学習トークン数に合わせると、モデルの大きさによらず最終的な損失が最もよくなったという結果も示しました。
もう 1 つの違いは、調べたモデルの大きさです。
Hoffmann らによると、自分たちの実験の大半は 5 億パラメータを超えていた一方、Kaplan らの実験はずっと小さく、1 億パラメータ未満のものも多くありました。
Chinchilla での確かめ方
Hoffmann らは予測を確かめるために、Gopher(2,800 億パラメータ)と同じ計算量で、700 億パラメータのモデル Chinchilla を 1.4 兆トークンで学習させました。
モデルを 4 分の 1 にし、データを 4 倍にした配分です。
当時の大きなモデルは、GPT-3 も Gopher も学習トークン数がおよそ 3,000 億でした。
Chinchilla は、評価に使った幅広い課題で Gopher・GPT-3・Jurassic-1・Megatron-Turing NLG を上回り、MMLU の平均正答率は 67.5% に達しました。
要旨では、これを Gopher から 7% を超える改善と書いています。
論文の表では、10 億パラメータなら 202 億トークン、100 億パラメータなら 2,051 億トークンが、計算量に見合う学習量として示されています。
パラメータ 1 つあたり約 20 トークンという目安は、この表から読み取れる比です。
学習の後に考える時間でも性能は伸びる
ここまでは、学習にかける計算量の話でした。
2024 年 9 月に OpenAI は o1 を発表し、強化学習を増やしても、答える前に考える時間を増やしても、性能が一貫して伸びたと書きました。
Learning to reason with LLMs(OpenAI)
同じ発表には、この方法を伸ばすときの制約は事前学習の場合とかなり違い、まだ調べている途中だとも書かれています。
答える時点の計算量(テスト時計算)をどう配るかは、Snell らが 2024 年 8 月に公開した論文が調べています。
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters(arXiv)
問題の難しさに合わせて計算の使い方を変えると、同じ回答を何本も出して最良を選ぶ方法より 4 倍以上効率がよくなったと報告しています。
ただし、いちばん難しい問題では考える計算を増やしてもほとんど伸びず、事前学習の計算を増やすほうが効きました。
論文は、テスト時の計算と事前学習の計算は 1 対 1 で置き換えられるものではないとまとめています。
答える前に考えるモデルの仕組みと使いどころは、別の記事で説明しました。
スケーリング則を読むときの落とし穴
スケーリング則は便利な見取り図ですが、読み違えやすいところが 3 つあります。
予測しているのは損失で、個々の能力ではない
Kaplan らが主な指標にしたのは、WebText2 というデータセットでの交差エントロピー損失でした。
特定の課題が解けるかどうかを直接予測する式ではありません。
Chinchilla の論文も、損失の予測とは別に、MMLU などの課題で実際の正答率を比べています。
学習で最適なモデルが、使うときに最適とは限らない
Chinchilla の配分は、決まった学習の計算量で損失を最も下げる配分です。
Meta が 2023 年 2 月に公開した LLaMA の論文は、この目的が推論にかかる計算を考えに入れていないと指摘しました。
LLaMA: Open and Efficient Foundation Language Models(arXiv)
同じ論文では、Hoffmann らの式が 100 億パラメータに 2,000 億トークンを勧めるのに対し、7B のモデルは 1 兆トークンを超えても性能が伸び続けたと報告しています。
ある性能に届くまでの学習は大きなモデルのほうが安く済むことがあっても、長く学習させた小さなモデルのほうが最終的に推論は安くなる、というのが LLaMA の論文の説明です。
小さなモデルが手元で使える理由は、SLM の記事で扱いました。
どこまでも下がり続けるわけではない
Kaplan らは、自然言語のエントロピーはゼロではないので、傾向はいずれ頭打ちになるはずだと書いています。
Hoffmann らが当てはめた式にも、モデルやデータをいくら増やしても消えない定数の項(推定値 1.69)があり、論文はこれを自然言語のエントロピーに当たるものと説明しています。
また Kaplan らは、式の定数の値は語彙の大きさやトークンの区切り方で変わるので、根本的な意味は持たないと注意しています。
指数や定数は、別のデータや別の分け方にそのまま持ち込める数字ではありません。
最後に
スケーリング則は、モデルの大きさ・データ量・計算量を増やしたときの損失の下がり方を、実験から式にしたものでした。
2020 年の Kaplan らはモデルを大きくするほうに計算を配り、2022 年の Hoffmann らはモデルとデータを同じ割合で増やすべきだと示しました。
その後は LLaMA の論文や o1 の発表のように、使うときの推論の費用や答える時点の計算量まで含めて考える議論が出てきました。
新しいモデルの発表で数字を見るときは、パラメータ数だけでなく、学習トークン数と、何の計算量を増やしたのかまで見ると比べやすくなります。
以上です。










コメントを残す