リトライとタイムアウトの設計|カスケード障害を防ぐ

リトライとタイムアウトの設計|カスケード障害を防ぐ

外部の API やデータベースを呼ぶコードには、たいていタイムアウトと再試行が付いています。

どちらも一時的な失敗を吸収するための仕組みですが、値の決め方や重ね方を誤ると、小さな過負荷をシステム全体の停止へ広げる側に回ります。

タイムアウトを何秒にするか、再試行を何回・どの層でするかには、Google の SRE 本と Amazon Builders' Library にかなり具体的な指針があります。

私も SRE を学んでいる途中なので、一次資料の記述を原文で確かめながら整理しました。

待ち時間を倍々に伸ばす指数バックオフと、乱数で再試行の時刻を散らすジッターの計算は、別の記事で扱いました。

APIのリトライは「指数バックオフ+ジッター」で考える

再試行とタイムアウトは過負荷を広げる側にも回る

Amazon Builders' Library の「Timeouts, retries, and backoff with jitter」は、タイムアウトを、クライアントが要求の完了を待つ最大の時間と定義しています。

待っているあいだ、クライアントはメモリ・スレッド・接続といった限りある資源を握ったままです。

待ちの長い要求が積み重なると呼ぶ側のサーバーが先に資源を使い切るので、タイムアウトで待ちを打ち切ります。

一方で同じ記事は、再試行を「利己的」なものだと書いています。

再試行するクライアントは、成功の見込みを上げる代わりに、サーバーの時間をより多く使うからです。

失敗がまれで一時的なら問題になりませんが、過負荷が原因の失敗では、再試行の負荷が状況を悪化させ、元の問題が消えた後も回復を遅らせます。

Timeouts, retries, and backoff with jitter

Timeouts, retries, and backoff with jitter | AWS Builder Center

SRE 本 第 22 章「Addressing Cascading Failures」は、この悪化を数字で示しました。

フロントエンドが失敗した要求を素朴に再試行する例で、失敗した 100 QPS の再試行が、次の秒には 200 QPS、その次は 300 QPS と膨らんでいきます。

初回で成功する要求が減っていき、バックエンドがこなす仕事のうち役に立つ割合も下がっていきました。

耐えきれずに落ちたバックエンドの要求は残りのタスクへ配り直され、それらをさらに過負荷へ追い込みます。

1 台の不調が再試行を通じて隣のサーバーへ次々に伝わるのが、カスケード障害の典型的な連鎖です。

Site Reliability Engineering, Chapter 22 – Addressing Cascading Failures

タイムアウトは下流の実測から決めて、残り時間を引き継ぐ

タイムアウトの値には、長すぎても短すぎても困るという板挟みがあります。

Builders' Library によると、長すぎると待つあいだ資源を使い続けるので、打ち切る意味が薄れます。

短すぎると再試行が増えてバックエンドの負荷と遅延が上がり、バックエンドが少し遅れただけで全要求が再試行を始め、全面停止に至るおそれがあります。

下流のレイテンシの分位から決める

Amazon では、リモートの呼び出しにはすべてタイムアウトを設け、接続のタイムアウトと要求のタイムアウトの両方を設定するのが基本です。

同じリージョン内の呼び出しで値を決める出発点は、下流のサービスのレイテンシの指標になります。

誤ってタイムアウトしてよい割合を 0.1% のように決め、下流のレイテンシの対応する分位(この例では p99.9)をタイムアウトの値にする方法です。

インターネット越しのようにネットワークの遅延が大きい場合は、世界中のクライアントを想定した悪い場合の遅延を足す必要があります。

p99.9 が p50 に近い、遅延の幅が狭いサービスでも、少し余裕を足さないと小さな遅延の増加で大量のタイムアウトが起きます。

もう一つの注意は、タイマーが何を含んでいるかです。

記事には、20 ミリ秒ほどのタイムアウトにしていた呼び出しが、デプロイの直後だけ少しタイムアウトした例が載っています。

タイマーが暗号化した接続を新しく張る時間まで含んでいて、新しいサーバーが投入された直後の要求だけが間に合わなかったのが原因でした。

最終的には、プロセスの起動時、要求を受け付ける前に接続を張っておく作りに変えて、問題そのものを無くしています。

デッドラインを呼び出しの木全体で引き継ぐ

1 つの要求が A から B、B から C と何段も呼び出すときは、各段が自分の都合でタイムアウトを決めるだけでは足りません。

SRE 本 第 22 章は、下流へ送るたびにデッドラインを作り直す代わりに、デッドラインの伝播を使うよう勧めています。

伝播では、フロントエンドのようなスタックの上のほうで決めたデッドラインを、その要求から広がるすべての RPC が同じ絶対時刻として共有します。

章の例では、A が 30 秒のデッドラインを決めて 7 秒処理してから B を呼ぶと、B への RPC のデッドラインは残りの 23 秒になります。

B が 4 秒かけてから C を呼べば、C への RPC は 19 秒です。

伝播しないと何が起きるかも、同じ章が次の流れで示しています。

  • A が B を 10 秒のデッドラインで呼ぶ
  • B は処理を始めるまでに 8 秒かかり、それから C を呼ぶ
  • 伝播していれば C への期限は残りの 2 秒になるが、B は固定の 20 秒で呼んだとする
  • C がキューから要求を取り出すのは 5 秒後

伝播していれば、C は期限切れに気づいてすぐに要求を捨てられました。

固定の 20 秒だと、C は残り 15 秒あるつもりで処理を続けますが、A から B への要求はもう期限を過ぎていて、その仕事はだれの役にも立ちません。

章は、ネットワークの往復とクライアント側の後処理のぶんとして、下流へ渡すデッドラインを数百ミリ秒ほど短くしてもよいとしています。

受ける側も、処理が解析・下流の呼び出し・後処理のように段階に分かれているなら、各段階の前に残り時間が足りるかを確かめるよう勧められていました。

gRPC の公式ガイド「Deadlines」によると、gRPC は既定ではデッドラインを設定しないので、クライアントが応答を事実上いつまでも待つことがありえます。

そのため、クライアントでは現実的なデッドラインを必ず明示的に設定する、というのがガイドの立場です。

受けた RPC のデッドラインを下流への RPC へ自動で引き継ぐ機能は、Java と Go では既定で有効で、C++ では明示的に有効にする必要があります。

サーバー同士の時計のずれに左右されないよう、gRPC はデッドラインを、経過した時間を差し引いたタイムアウトに直して渡します。

Deadlines | gRPC

Deadlines

平均より桁違いに長いデッドラインは危ない

第 22 章は、デッドラインが長すぎる場合の失敗も計算で示しています。

10 台・各 100 スレッドで合計 1,000 スレッドのフロントエンドが、普段は 1,000 QPS を 100 ミリ秒で返しているとします。

ある事象で要求の 5% が完了しなくなり、デッドラインが 100 秒だと、その 5%(50 QPS)だけで 5,000 スレッド分の仕事を抱えることになります。

手持ちは 1,000 スレッドしかないので、処理できるのは要求の 19.6% にとどまり、エラー率は 80.4% に達しました。

本来なら 5% で済んだはずの失敗が、大半の要求の失敗に広がったわけです。

章の指針は、平均レイテンシより何桁も長いデッドラインはたいてい悪いというものでした。

完了しない要求は期限まで待たせずに早くエラーで返し、RPC の仕組みに fail-fast の選択肢があれば使うよう勧めています。

平均だけを見ていると原因に気づきにくいので、遅延が増えたら分布も見るよう、章は付け加えています。

再試行は 1 か所で、予算の範囲だけ行う

再試行の回数を決めるときは、1 つの呼び出しの中だけでなく、システム全体で何倍になるかを見ます。

層ごとの再試行は掛け算になる

第 22 章は、複数の層で再試行すると回数が掛け算になると注意しています。

データベースが過負荷でエラーを返しているとき、バックエンド・フロントエンド・JavaScript の 3 層がそれぞれ 3 回ずつ再試行すると、初回と合わせて各層 4 回の試行になります。

その結果、利用者の 1 回の操作が、データベースへの 64 回(4 の 3 乗)の試行に化けるわけです。

Builders' Library の記事も、5 段の呼び出しの各層で 3 回ずつ再試行すると、データベースへの負荷は 243 倍になると書いています。

Amazon のベストプラクティスは、コストの低い操作については、スタックの 1 か所でだけ再試行することです。

Google も第 21 章「Handling Overload」で、要求を断った層のすぐ上の層だけが再試行するべきだとしています。

それ以上は再試行しないと決めた層は、「overloaded; don't retry」というエラーか縮退した応答を上へ返し、組み合わせの爆発を防ぎます。

再試行の回数は、自分の層の回数ではなく、全層を掛けた回数で考える必要があります。

Site Reliability Engineering, Chapter 21 – Handling Overload

再試行の総量に予算を持たせる

1 か所に絞っても、要求ごとの回数の上限だけでは、障害の最中に負荷がまだ大きく増えます。

第 21 章によると、Google は 2 種類の予算を重ねています。

  • 要求ごとの予算: 1 つの要求の試行は 3 回まで。3 回とも過負荷のタスクに当たったなら、データセンター全体が過負荷の可能性が高いとみて、失敗を呼び出し元へ返す
  • クライアントごとの予算: 送った要求のうち再試行が占める割合を記録し、10% 未満のときだけ再試行する

章の最悪の例では、要求ごとの予算だけだと要求は 3 倍近くまで増えますが、10% の予算を重ねると一般的な場合で 1.1 倍に抑えられます。

さらに、試行の回数を要求のメタデータに載せておき、再試行が多いと分かったバックエンドが「overloaded; don't retry」を返す仕組みも併用しています。

第 22 章は、プロセス単位で 1 分あたり 60 回までのように、サーバー全体の再試行の予算を持つ案も挙げていました。

章は、この予算が、一部の要求が落ちるだけの容量不足と、全体に広がるカスケード障害の分かれ目になりうると書いています。

同じ章は、障害の最中には悪い再試行が原因だと気づきにくいとも注意しています。

再試行率のグラフは、状況を悪化させている要因なのに、症状の一つと見間違えられやすいからです。

直す手は、再試行の挙動を変える(たいていコードのデプロイが要る)か、負荷を大きく減らすか、要求を断つかしかないので、予算は障害の前に組み込んでおく必要があります。

同じ考え方は、ライブラリにも組み込まれています。

AWS SDK の「Retry behavior」のページは、standard モードに retry quota という token bucket があると説明しています。

予算は 500 トークンから始まり、一時的なエラーの再試行で 14、スロットリングの再試行で 5 トークンを引き、再試行が成功するとその再試行で引いたぶんを戻し、初回で成功した要求は 1 トークンを戻す仕組みです。

尽きると SDK は再試行せずにエラーを返すので、アプリケーションは見込みの薄い再試行を待たずに早く失敗できます。

これらの数値は 2026 年に更新された再試行の挙動のもので、2026-10-22 時点では環境変数 AWS_NEW_RETRIES_2026=true で有効にする段階でした。

Retry behavior – AWS SDKs and Tools

gRPC にも retryThrottling という設定があり、サーバーごとのトークンが失敗で 1 減り、成功で tokenRatio だけ増え、maxTokens の半分を下回ると、回復するまで再試行が止まります。

サーキットブレーカーは試しにくさも持ち込む

エラーが閾値を超えたら下流への呼び出しを丸ごと止めるサーキットブレーカーも、再試行の負荷を抑える手として広く勧められています。

ただし Builders' Library の記事は、サーキットブレーカーが試験しにくいモードの切り替えをシステムに持ち込み、回復までの時間を大きく延ばすことがあると指摘しています。

Amazon はその代わりに、手元の token bucket で再試行を制限する方法でこの危険を抑えていて、AWS SDK にはこの挙動が 2016 年に入りました。

依存先が落ちたときに何を返すかという縮退の設計の中でサーキットブレーカーを使う話は、縮退運転の記事で整理しています。

縮退運転の設計|全部落とさずに一部だけ諦める

再試行してよいエラーと、いけないエラー

何を再試行するかは、エラーの種類と、操作の副作用の 2 つで決まります。

直らないエラーは再試行しない

第 22 章は、再試行できるエラーとできないエラーを分け、恒久的なエラーや不正な形の要求は、繰り返しても成功しないので再試行しないよう求めています。

過負荷のときは、クライアントや他の層が引き下がって再試行しないよう、専用のステータスを返すことも勧めていました。

Builders' Library の記事は、HTTP がクライアントのエラーとサーバーのエラーを分けていて、クライアントのエラーは同じ要求では後でも成功しないと説明しています。

ただし結果整合性のシステムでは、さっきのクライアントのエラーが、状態が伝わった次の瞬間には成功に変わることもあり、この線は曖昧になります。

AWS SDK の同じページは、エラーコードと HTTP ステータスから失敗を 3 つに分けています。

分類例SDK の扱い
一時的なエラーRequestTimeout、InternalError、認識できるエラーコードの無い 500・502・503・504、接続のリセットや DNS の失敗短い基準の待ち(50 ミリ秒)で再試行する
スロットリングThrottlingException、TooManyRequestsException、ProvisionedThroughputExceededException など長い基準の待ち(1,000 ミリ秒)で再試行する
再試行しないエラーAccessDeniedException、ValidationException、ResourceNotFoundException などすぐにアプリケーションへ返す

HTTP の 400 でも、エラーコードが RequestTimeout なら一時的なエラーとして再試行し、ValidationException なら返すというように、コードを先に見て分ける作りです。

gRPC は再試行の機能を既定で有効にしていますが、既定の再試行ポリシーは持っていません。

ポリシーが無いときは、サーバーが処理していないと確かな低レベルの失敗だけを、transparent retry として再試行します。

ポリシーを書くときは、UNAVAILABLE のように再試行してよいステータスコードを、メソッドごとに列挙します。

Retry | gRPC

Retry

副作用のある操作は冪等にしてから再試行する

Builders' Library は、タイムアウトや失敗は、副作用が起きなかったことを意味しないと注意しています。

副作用のある API は、冪等性(何度送っても副作用が 1 回分しか起きない性質)を備えていない限り、再試行して安全とは言えません。

読み取りの API はたいてい冪等ですが、リソースを作る API はそうとは限りません。

同じ Builders' Library の「Making retries safe with idempotent APIs」によると、Amazon が好むのは、呼び出し側が付ける一意のクライアント要求 ID を API の契約に入れる方法です。

同じ呼び出し元から同じ ID の要求が届けば重複とみなし、最初の要求と意味の同じ応答を返します。

EC2 の RunInstances はこの ID を ClientToken という項目で受け取り、AWS CLI や Python の SDK(boto3)は、呼び出し側が付けなければ自動で ID を作って再試行のたびに使い回します。

同じ ID なのに引数が違う要求が届いた場合、AWS は別の意図だったとみなし、パラメータの不一致として検証エラーを返すそうです。

Making retries safe with idempotent APIs

最後に

タイムアウトは下流のレイテンシの分位から決め、デッドラインを呼び出しの木全体で引き継ぐと、期限切れの要求に資源を使い続けずに済みます。

再試行は 1 か所に絞り、要求ごととクライアントやプロセス単位の予算で総量を抑え、直らないエラーと冪等でない操作は再試行しないようにします。

再試行は一時的な失敗を隠す道具で、過負荷を直す道具ではありません。

以上です。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA