縮退運転の設計|全部落とさずに一部だけ諦める

縮退運転の設計|全部落とさずに一部だけ諦める

サービスの一部が壊れたときや、さばききれない量の要求が届いたとき、全部を止めるか、一部を諦めて残りを動かし続けるかで利用者の被害は大きく変わります。

後者を前もって設計しておくのが縮退運転で、英語では graceful degradation と呼ばれます。

中心にあるのは、障害が起きる前に「何を守り、何から諦めるか」の順番を決めておくことです。

この順番が決まっていれば、依存先の障害や急な負荷の増加に対して、全面停止の手前で踏みとどまる手が打てます。

私も SRE を学んでいる途中なので、Google の SRE 本と AWS・Netflix の公開資料を土台に整理しています。

縮退運転は守る機能を残すために残りを諦める設計

AWS Well-Architected フレームワークの信頼性の柱には、REL05-BP01 として縮退運転の実践が載っています。

そこでは、依存先が使えなくなってもコンポーネントは中核の機能を続けるべきで、少し古いデータや代わりのデータ、場合によってはデータ無しで応えてよいと書かれています。

この実践の題にある「ハードな依存をソフトな依存に変える」は、落ちると自分も落ちる依存を、落ちても自分は動ける依存に作り替えるという意味です。

REL05-BP01 Implement graceful degradation to transform applicable hard dependencies into soft dependencies

Google の SRE 本(Site Reliability Engineering)の第 22 章「Addressing Cascading Failures」は、同じ考え方を過負荷の側から説明しています。

過負荷に近づいたサーバーが要求の一部を捨てて自分を守るのが負荷制限(load shedding)です。

それをもう一歩進め、応答の質を下げて 1 件あたりの仕事を減らすのが graceful degradation だという整理でした。

検索であれば、ディスク上の全データではなくメモリ上のキャッシュにある一部だけを探す、精度は落ちても速い並べ替えに切り替える、といった例が挙がっています。

Site Reliability Engineering, Chapter 22 – Addressing Cascading Failures

二つの資料を並べると、縮退が必要になる場面は次の 2 つに分けられます。

きっかけ諦めるもの例
依存先の故障その依存先が支えている機能おすすめ欄が出せなくても商品ページは出す
自分の過負荷一部の要求、または応答の質重要度の低い要求を断る・検索する範囲を絞る

どちらの場面でも、全部を守ろうとすると全部を失うおそれがあることは変わりません。

依存先の可用性がサービス全体の上限になる話は、可用性の数字を読む記事で触れました。

可用性の数字の読み方|99.9%と99.99%の運用の差

諦める順番は機能と要求の重要度で決める

縮退の設計で最初に決めるのは、技術よりも事業の判断です。

REL05-BP01 も、これは技術の議論であると同時に事業の議論だと書いています。

決済処理なら一貫性を、リアルタイムのアプリなら可用性を優先する、という例がそこで示されていました。

要求の単位で重要度を付ける方法は、Google と Netflix がそれぞれ公開しています。

Google は要求に 4 段階の重要度を付ける

SRE 本の第 21 章「Handling Overload」によると、Google では要求ごとに 4 つの重要度(criticality)のどれかを付けます。

  • CRITICAL_PLUS: 失敗すると利用者に深刻な影響が出る、最も重要な要求
  • CRITICAL: 本番のジョブから送る要求の既定値。利用者に影響は出るが、CRITICAL_PLUS ほど深刻ではない
  • SHEDDABLE_PLUS: 一部が使えなくなることを見込んだ要求。数分から数時間後に再試行できるバッチの既定値
  • SHEDDABLE: 頻繁な部分停止と、ときどきの全面停止を見込んだ要求

過負荷になったタスクは、重要度の低い要求ほど早い段階で断ります。

重要度は RPC の仕組みで下流の呼び出しへ自動的に引き継がれ、ブラウザやモバイルに近いフロントエンドで付けるのが原則だそうです。

入力中に出る検索候補は、捨ててよい要求でありながら速さへの要求は厳しい、と章は書いていました。

重要度と応答の速さは別の軸だと分かる例です。

Site Reliability Engineering, Chapter 21 – Handling Overload

Netflix は再生を守るために要求を 3 つに分けた

Netflix は 2020 年 11 月のエンジニアリングブログで、要求の優先度に応じた段階的な負荷制限を紹介しています。

API ゲートウェイの Zuul が要求を 3 つの区分に分け、さらに 1〜100 の優先度の点数を付けます。

  • NON_CRITICAL: ログや裏側の通信など、再生にも体験にも影響しない要求
  • DEGRADED_EXPERIENCE: 視聴履歴や再生画面の言語選択など、体験は損なうが再生は止めない要求
  • CRITICAL: 失敗すると、再生ボタンを押した人にエラーが出る要求

負荷が閾値を超えると、優先度の低いものから段階的に捨てていきます。

記事によると、段階的な負荷制限が無かった 2019 年には、かなりの割合の会員が一定時間再生できない障害が起きていました。

導入から数日後の 2020 年に同じ規模になりえた事象が起きたときは、負荷制限が働き、再生できなくなった会員は出なかったそうです。

Keeping Netflix Reliable Using Prioritized Load Shedding

Amazon Builders' Library の負荷制限の記事は、順番の付け方にもう一つ観点を足しています。

開始と終了の 2 つの API があるなら、始めた仕事を終わらせられるよう終了の側を優先すべきだという指摘です。

さらに、過負荷のサーバーにとって最も重要な要求は、ロードバランサーからのヘルスチェックだとも書かれていました。

これに応えられないと振り分け先から外され、ただでさえ足りない処理能力がさらに減ってしまうからです。

Using load shedding to avoid overload

Using load shedding to avoid overload | AWS Builder Center

仕組みは依存先の故障と自分の過負荷で分けて作る

順番が決まったら、それを仕組みに落とします。

依存先が落ちたときと自分が詰まったときでは打つ手が違うので、分けて考えます。

依存先ごとに落ちたら何を返すかを決める

REL05-BP01 は、まず外部と内部の依存先を洗い出し、それぞれにどんな故障が起こりうるかを考えるよう求めています。

そのうえで、依存先の状態ごとの手当てが例示されていました。

  • 複数の上流のうち 1 つが落ちた: トップページの一部が欠けても、エラーページではなく残りを表示する
  • 下流が過負荷で失敗し続ける: 再試行を重ねず、サーキットブレーカーで送るのを止め、ときどきだけ通して回復を確かめる
  • パラメータストアが使えない: キャッシュや、イメージに含めた既定値で動かす(既定値も最新に保ち、テストに含める)
  • 監視サービスに送れない: 業務の処理はそのまま続ける(ただし長く黙って欠けたままにはしない)
  • RDB のプライマリが使えない: 読み取りはリードレプリカで受け、書き込みは SQS のキューにためて受け付ける

再試行の間隔の決め方は別の論点なので、ここでは過負荷の相手に再試行を重ねないことだけを押さえます。

過負荷では早く安く断る

自分が過負荷になったときの基本は、仕事を抱え込まずに早めに断ることです。

SRE 本の第 22 章は、CPU・メモリ・キューの長さをもとにタスクごとに絞るのが素直な方法だとしています。

例として、処理中の要求が一定数を超えたら、新しい要求に HTTP 503 を返す方法が挙がっていました。

同じ章は、キューを先入れ先出しから後入れ先出しに変える方法にも触れています。

10 秒待たされた検索の要求は、利用者がもう再読み込みしていて、答えても見られない可能性が高いからです。

Builders' Library の記事は、この効果をスループットとグッドプットの違いで説明しています。

スループットはサーバーに届く要求の総数で、グッドプットはそのうちエラーにならず、クライアントが使える速さで返せた分です。

負荷制限が効いていれば、届く量が処理能力を大きく超えても、グッドプットは横ばいのまま落ちないのが理想の形だと書かれています。

断る処理そのものが重ければ意味が無いので、Amazon はグッドプットが頭打ちになる点を大きく超えるところまで負荷をかけて試験しています。

うっかり入ったログ出力などで、断るコストが膨らんでいないかを確かめるためだそうです。

いつ入り、どう抜けるかを決める

発動の目安として、第 22 章は CPU 使用率・レイテンシ・キューの長さ・使用中のスレッド数を挙げ、自動で入るか人が切り替えるかも決めるよう求めています。

どの層で絞るかにも選択肢があります。

同じ章は、リバースプロキシでの IP 単位の制限、ロードバランサーでの全体の制限、個々のタスクでの制限を並べていました。

抜け方も、入り方と同じくらい大切です。

章の試験の節には、高負荷で縮退に入ったコンポーネントが人の手を借りずに抜けられるかを確かめる問いがあります。

縮退に入ったサーバーが多すぎるときに監視とアラートで気づけるようにしておくことも、同じ章の注意に含まれていました。

縮退の仕組みが障害を広げる落とし穴

縮退の仕組みは、作り方を誤ると守るはずの障害を大きくします。

公開資料からは、少なくとも次の三つの落とし穴が読み取れます。

めったに動かない経路は動かない

第 22 章は、使わないコード経路はたいてい動かないと注意しています。

縮退は普段は動かないので運用の経験がたまらず、そのぶん危険が増すという理屈です。

対策として、一部のサーバーを定期的に過負荷の近くで動かし、縮退の経路を使い続ける方法が挙げられていました。

Builders' Library の「Avoiding fallback in distributed systems」には、この危険が現実になった Amazon の例が載っています。

配送速度の表示にキャッシュを使い、キャッシュが不調なら DB を直接読む作りにしていたところ、数か月後にキャッシュがほぼ同時に落ちました。

すべての Web サーバーが DB に直接向かって DB が固まり、配送速度を出せないだけで済んだはずの障害がサイト全体の停止に広がったそうです。

記事は、切り替え先の経路はめったに試されず、障害のさなかに初めて動いて被害を広げやすいとして、Amazon は fallback を避ける方針だと書いています。

Avoiding fallback in distributed systems

Avoiding fallback in distributed systems | AWS Builder Center

REL05-BP01 も、故障時に通る経路は試験し、本来の経路よりずっと単純にしておくべきだと書いていました。

Netflix は、どの要求を捨ててよいかという仮定を、障害を注入する仕組みと、本番の一部の利用者を使う実験で確かめています。

最初の実験では、優先度の低い要求を捨てたときに、Android と iOS で再生エラーがときどき起きる競合状態が見つかったそうです。

縮退の経路を本番に近い形で確かめる方法は、カオスエンジニアリングの記事で整理しました。

カオスエンジニアリング入門|わざと壊して信頼性を確かめる

ほかの負荷対策と食い合う

SRE ワークブックの第 11 章「Managing Load」には、負荷制限とロードバランサーがかみ合わなかった架空の会社の事例があります。

3 つのリージョンのうち 1 つが先に CPU の閾値に達し、要求の一部にエラーを返し始めました。

ロードバランサーはそのリージョンを、1 件あたりの CPU が少ない効率のよい場所だと見て、さらに多くの要求を送りました。

その結果、要求がそのリージョンに集まり、大半が 503 で返る状態のまま落ち着いてしまいます。

章の教訓は、負荷分散・負荷制限・オートスケールを一つの負荷管理の仕組みとして見て、互いの影響を監視することでした。

オートスケールと組み合わせるなら、負荷制限より先にスケールが始まるよう閾値を置くことも勧められています。

The Site Reliability Workbook, Chapter 11 – Managing Load

複雑にしすぎて望まない縮退に入る

複雑な負荷制限や縮退は、それ自体が問題を起こすことがあります。

第 22 章は、望まないときに縮退へ入ったり、意図しないフィードバックの循環を起こしたりするおそれを挙げていました。

そのため、すぐに止めたり調整したりできる手段を用意しておくよう求めています。

縮退はめったに発動しないものなので、仕組みは単純で分かりやすく保つべきだというのが同じ章の注意です。

最後に

縮退運転は、障害のさなかに慌てて機能を切る作業ではありません。

依存先の故障と自分の過負荷のそれぞれについて、守る機能と諦める順番を事業の判断として先に決め、仕組みに組み込んでおく設計です。

そのうえで、普段は動かない経路を定期的に動かし、ほかの負荷対策との食い合いも監視しておくことで、いざというときに働きます。

全部を守ろうとして全部を落とすより、諦める順番を決めておくほうが、利用者に残せるものは多くなります。

以上です。