キャパシティプランニング入門|需要予測とリソース計画の立て方

キャパシティプランニング入門|需要予測とリソース計画の立て方

「来月のキャンペーンで利用が 3 倍になるそうですが、サーバーは足りますか」と聞かれても、根拠のある数字が手元に無ければ答えられません。

足りなければ障害になり、多すぎれば使わない容量の費用を払い続けることになります。

この間合いを前もって決める仕事が、キャパシティプランニング(容量計画)です。

Google の SRE 本(Site Reliability Engineering)に沿って読むと、その中身は調達にかかる時間より先まで需要を予測し、負荷試験で測った限界に冗長を足して台数を決めることにまとまります。

この流れが分かると、「何台あれば足りるか」という問いに計算の筋道つきで答えられるようになります。

私も SRE を学んでいる途中なので、SRE 本と AWS の公開資料を土台にしています。

キャパシティプランニングは間に合う容量を用意する仕事

SRE 本の第 1 章は、需要予測と容量計画を「予測される将来の需要に、求められる可用性で応えられるだけの容量と冗長を確保すること」と説明しています。

概念そのものは特別ではないと断ったうえで、驚くほど多くのサービスやチームが、必要なときまでに容量をそろえる手順を踏んでいないとも指摘していました。

需要の伸びは、2 種類に分けて考えます。

1 つは利用者が製品を使い始めて自然に増えていく分で、原文は organic growth と呼んでいます。

もう 1 つは新機能の公開や販促キャンペーンなど、事業側の施策で起きる分です。

そのうえで章は、容量計画に欠かせない手順として次の 3 つを挙げています。

  • 自然な増加の正確な予測(容量の調達にかかる時間より先まで届くもの)
  • 施策による増加を、予測に正確に織り込むこと
  • 定期的な負荷試験で、サーバーやディスクといった素の容量と、サービスとして出せる容量を対応づけること

同じ章は、容量は高価なので、追加は必要なときにだけ素早く正しく行うべきだとも書いています。

ここでいう容量は、単なる台数とは違います。

負荷が増えるとシステムは遅くなり、遅くなることは容量を失うことに等しい、というのが章の見方です。

SRE は決めた応答速度を守れる量を容量の目標にして、資源を用意する立場だと説明されていました。

SRE 本の第 6 章も、ゴールデンシグナルのサチュレーションの説明で、多くのシステムは利用率が 100% に届く前に性能が落ち始めると書いています。

ゴールデンシグナル入門|何を監視すべきかの定番4指標

進め方は数え方・予測・限界・冗長の4段

容量計画を手元のサービスに当てはめるなら、次の 4 つの順に決めていくと迷いにくくなります。

容量を何で数えるかを決める

最初に決めるのは、容量を測る単位です。

直感的なのは 1 秒あたりのリクエスト数(QPS)ですが、SRE 本の第 21 章は、これを容量の物差しにすると多くの場合うまくいかないと書いています。

リクエストの重さは、呼び出し元のクライアントや時間帯によって大きく変わるからです。

ある時点では比率が合っていても、ソフトウェアの更新ひとつで一部のリクエストの消費が大きく減ることもある、と章は書いています。

代わりに勧めているのは、CPU のコア数やメモリの量といった、使える資源そのもので容量を表すやり方でした。

Google では、多くの場合(すべてではないものの)、資源を用意する目安を CPU の消費量だけにしてもうまくいったと章は書いています。

挙げられている理由の 1 つは、ガベージコレクションのある実行環境では、メモリの圧迫が CPU の消費の増加として表に出ることです。

需要を調達にかかる時間より先まで予測する

次に、いつまでにどれだけの需要が来るかを見積もります。

予測の長さは、容量を手に入れるまでにかかる時間より長くなければ役に立ちません。

来月足りなくなると分かっても、届くのが 3 か月後なら間に合わないからです。

SRE 本の第 18 章が描く従来の容量計画でも、予測は数四半期から数年先までを対象にしていました。

キャンペーンや新機能による増加は過去の利用のグラフに現れないので、事業側の予定を聞いて予測に織り込む必要があります。

過去の値から先を予測する部分に、事前学習済みの時系列モデルを使う考え方は、時系列基盤モデルの記事で整理しました。

時系列基盤モデルとは?追加学習なしで需要を予測する仕組み

SRE 本の計算例も、いちばん混む時間帯の負荷(ピーク)から台数を出しています。

負荷試験で1台あたりの限界を測る

需要の数字だけでは、台数は出ません。

1 台、または 1 クラスタがどこまで耐えられるかを、負荷試験で測る必要があります。

SRE 本の第 22 章は、壊れるまで負荷をかけて分かる限界点を、容量計画に欠かせない知識だと位置づけています。

限界の使い道として章が挙げているのは、更新で性能が落ちていないかの確認、最悪の場合に備えた用意、利用率と安全の余白のてんびんです。

AWS Well-Architected フレームワークの REL07-BP04 も、負荷試験で限界点を見つけ、容量を増やしたり減らしたりする合図になる指標を特定するよう求めています。

手順としては、本番に近いリクエストの混ざり方を調べ、負荷をかける道具を用意し、まず 1 台のような小さな容量で試し、次にできるだけ本番に近い規模で試す順が示されていました。

冗長を足して台数を決める

最後に、ピークの需要を測った限界で割り、冗長の分を足します。

SRE 本の第 2 章には、そのまま計算をたどれる例が載っています。

負荷試験で 1 タスクが約 100 QPS をさばけると分かり、ピークは約 3,470 QPS と見込まれたので、最低 35 タスクが要るという計算です。

そこへ 2 タスクを足して 37 タスクにする理由が、N+2 という考え方でした。

更新作業で 1 タスクが抜けると 36 になり、その最中に機械が 1 台壊れると 35 まで減ります。

更新中に 1 台壊れても、ピークをちょうどさばけるのが N+2 の数え方です。

第 22 章にも、同じ考え方の例があります。

どちらの例も、説明のために容量を QPS で数えています。

出典ピークの需要1 単位の限界必要な数N+2
SRE 本 第 2 章約 3,470 QPS約 100 QPS(1 タスク)35 タスク37 タスク
SRE 本 第 22 章19,000 QPS5,000 QPS(1 クラスタ)4 クラスタ(3.8 の切り上げ)約 6 クラスタ

第 22 章の例は負荷が各クラスタに均等に散る前提つきで、脚注では地理的な偏りがあると成り立たないことが多いと断っています。

第 2 章の例でも、利用者の分布を見て地域ごとに N+2 を取ると、米国 17・欧州 16・アジア 6 タスクになりました。

南米だけは 5 タスクのところを 4 タスクにして、N+2 を N+1 に下げています。

南米のデータセンターがあふれたときはトラフィックが別の大陸へ回されて遅延が増えますが、その小さなリスクを受け入れて、ハードウェアに費やす資源の 20% を節約するという判断です。

4 地域を足すと 43 タスクになり、1 か所にまとめた 37 タスクより 6 多くなります。

利用者との距離と冗長の両方を満たそうとすると、その分だけ台数が増えるわけです。

計画は作り直し続ける前提で持つ

容量計画は、一度作って終わる書類ではありません。

第 18 章は従来の容量計画を、需要予測を集め、調達と割り当ての計画を立て、予算・製品・技術の事情と照らして承認し、資源を配置する、という繰り返しとして描いています。

前提が変わり、配備が遅れ、予算が削られるたびに計画は書き直され、その影響は後の四半期の計画すべてに及ぶとも書かれていました。

計画を崩すきっかけとして、章は次のような例を挙げています。

  • サービスの効率が落ち、同じ需要に予定より多くの資源が要る
  • 利用の伸びが速まり、需要の予測が上がる
  • 新しい計算資源の納期が遅れる
  • 性能目標についての製品側の判断が変わり、必要な配置と量が変わる

Google では多くのチームが、この対策として意図に基づく容量計画(Intent-based Capacity Planning)に移りました。

Auxon は、その考え方を Google の中で実装した道具です。

「クラスタ X・Y・Z に 50 コア欲しい」という頼み方では、なぜその数でその場所なのかが、計画する人に届くまでに失われてしまいます。

章はこの頼み方を、次のように段階的に抽象度を上げた言い方へ置き換えて見せています。

  1. 「クラスタ X・Y・Z に 50 コア欲しい」
  2. 「地域 YYY の任意の 3 クラスタに 50 コア欲しい」
  3. 「各地域で需要を満たし、N+2 の冗長を持ちたい」
  4. 「99.999% の信頼性で動かしたい」

章は、Google の経験では 3 段目に進んだところでいちばん大きな効果が出やすいと書いています。

「なぜその容量が要るのか」まで書いておけば、前提が変わっても計画を組み直せます。

小さなチームが、Auxon のような最適化の道具を作る必要はありません。

それでも、容量の要求に「どれだけの需要を、どの応答速度でさばくか」と「何台まで欠けてよいか」を添えることは、表計算ソフトの計画でもすぐに真似できます。

4 段目の 99.999% のような目標が、運用にとってどれだけ重いかは、可用性の桁の記事で計算しています。

可用性の数字の読み方|99.9%と99.99%の運用の差

つまずきやすい落とし穴

計画を立てても、次のような前提の抜けで崩れることがあります。

オートスケールがあれば計画は要らないと考える

負荷に応じて台数を自動で増減するオートスケールがあれば、計画は要らないように見えます。

第 22 章は、需要に応じてタスクを増やせる仕組みは過負荷を防ぎうるとしたうえで、それでも適切な容量計画は必要だと書いています。

SRE 本の実践編にあたる SRE ワークブックの第 11 章も、新しいインスタンスを作るのは決して一瞬では終わらないと注意していました。

同じ章は、増減の最小と最大を決め、その上限まで増やせるだけのクォータがあるかを確かめるよう勧めています。

増えた分の負荷はデータベースなどの依存先にも流れるので、依存先の余力まで見ておく必要もあります。

自動で増やせるのは、上限と依存先の余力の内側だけです。

クォータと切り替え先の容量を数え忘れる

クラウドのサービスクォータ(サービスごとに決められた利用量の上限)も、容量の一部です。

AWS Well-Architected の REL01-BP06 は、いまのクォータと最大の使用量の間に、障害時の切り替えをまかなえる隙間を空けておくよう求めています。

障害で使えなくなった資源も、止めきるまではクォータを消費し続けるからです。

実装の手順には、たとえば 15% の余白を足すことや、引き上げの申請に待ち時間を見込むことが挙がっています。

負荷試験の条件が本番と違う

負荷試験の数字は、条件が本番に近いほど当てになります。

REL07-BP04 は、よくある誤りとして次の 4 つを挙げています。

  • 本番と違う構成で試す
  • 一部の部品だけを試し、全体を試さない
  • 本番を代表しない一部のリクエストだけで試す
  • 想定負荷のすぐ上までしか試さない

第 22 章も、機械に余っている CPU を安全網として当てにするのは危ないとして、負荷試験は確保した資源の範囲で行うよう注意しています。

計画さえあれば障害は防げると考える

容量計画で下げられるのは、1 か所の過負荷が連鎖して広がるカスケード障害が起きる確率までです。

第 22 章は、インフラの大きな部分を失ったときには、どれだけ計画しても連鎖を防げないことがあると書いています。

負荷分散の不具合やネットワークの分断、想定外の急増で、計画を超える負荷の偏りが生まれることもあると章は書いています。

あふれた分をどう断り、どう品質を落としてしのぐかは、計画とは別に設計しておく必要があります。

最後に

キャパシティプランニングは、需要を調達の時間より先まで予測し、負荷試験で測った限界に冗長を足して台数を決める仕事でした。

数える単位は QPS より CPU などの資源にし、N+2 で「更新中の故障」まで織り込みます。

計画は崩れる前提で持ち、「なぜその容量が要るのか」を要求と一緒に残しておきます。

まずは自分のサービスのピークと 1 台あたりの限界を、同じ単位で並べてみることが出発点になります。

以上です。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA