データを失う事故は、バックアップを取っていなかったときより、取っていたはずのバックアップから戻せなかったときに深刻になります。
2017 年に GitLab.com がデータベースを誤って消した障害では、用意していた複数の仕組みのどれからも、すぐには戻せませんでした。
Google の SRE 本はこの問題をデータの完全性の章で扱い、バックアップの価値は、復元できるかどうかでしか決まらないという立場を取っています。
バックアップは取っているのに本当に戻せるのか自信がない、という開発者や SRE を目指す人が、何を決めて何を試せばよいかの手がかりになります。
私も SRE を学んでいる途中なので、Google の SRE 本、AWS の公開資料、GitLab の公開ポストモーテムを土台にしています。
バックアップは戻すためにあり、アーカイブとは別物
SRE 本の第 26 章「Data Integrity: What You Read Is What You Wrote」は、誰もバックアップを取りたいわけではなく、欲しいのは復元だという言い回しを紹介しています。
同じ章は、バックアップとアーカイブのいちばん大きな違いを、アプリケーションに読み戻せるかどうかに置いています。
アーカイブは監査やコンプライアンスのために長く保管するデータで、たとえば金融取引のデータを 7 年残すような用途です。
監査のために取り出すのであれば、戻すのに 1 週間かかっても許されることがあります。
一方で障害が起きたときのバックアップは、サービスが止まってよい時間の内側で戻せなければ役に立ちません。
そこで Google は、チームにバックアップの「練習」をさせるのではなく、障害の種類ごとにデータの可用性の SLO を決めさせ、それを満たせることを実演させています。
参考: Site Reliability Engineering, Chapter 26 – Data Integrity: What You Read Is What You Wrote
SLO の決め方そのものは、SLI と SLO の回で扱いました。
何から守るかを壊れ方の組み合わせで決める
SRE 本は、データが失われる壊れ方を三つの軸で分けています。
- 原因: 利用者の操作、運用者のミス、アプリケーションのバグ、基盤の欠陥、ハードウェアの故障、拠点ごとの災害
- 範囲: 多くのデータに広く及ぶか、一部の利用者のデータに絞られるか
- 速さ: 1 分で 100 万行が 10 行に置き換わるような一度きりの事故か、数週間かけて毎分 10 行ずつ消えるようなじわじわ進む事故か
この組み合わせで 24 通りの壊れ方があり、どれにも備える必要があるというのが同章の考え方です。
Google が社内の 19 件のデータ復旧を調べたところ、利用者から見て多かったのはソフトウェアのバグによる削除や参照の不整合でした。
いちばん厄介だったのは、バグが本番に出てから数週間〜数か月たって見つかった、小さな破損や削除だったとされています。
レプリケーションがあればバックアップは要らない、という考えはこの軸で崩れます。
複数の複製を自動で同期するデータストアは、壊れた行や誤った削除も、問題を切り分ける前にすべての複製へ届けてしまうからです。
AWS の災害復旧のホワイトペーパーも、継続的なレプリケーションは、データの破損や不正な削除に対してはポイントインタイムのバックアップほど守りにならないことがあると書いています。
複数のリージョンで同時に動かす構成でも、データの破損から戻すときの復旧時点は、障害に気づく前のどこかになるとも明記されています。
参考: Disaster recovery options in the cloud
Google はこうした壊れ方に、ソフト削除・バックアップ・早期検知の三層で備えるとしています。
ソフト削除は、消したデータをすぐには消さずに印だけ付けておく方法で、Gmail のごみ箱が 30 日以内に消したメールを戻せるのがその例です。
早期検知は、データの中や間の不整合を本番の処理とは別に点検する仕組みで、Gmail ではこうした検証が本番の不整合を 24 時間以内に見つけていると紹介されています。
戻し方から逆算してバックアップを組む
戻し方を決める物差しとして、AWS は RTO と RPO の二つを挙げています。
RTO(目標復旧時間)は、サービスが止まってから戻るまでに許される最大の時間です。
RPO(目標復旧時点)は、最後の復旧ポイントから数えて、どれだけの時間ぶんのデータを失ってよいかの上限です。
参考: Business Continuity Plan (BCP) – Disaster Recovery of Workloads on AWS
SRE 本も、どの場面から戻したいかが方式・頻度・置き場所・保持期間を決めるのであって、その逆ではないと述べています。
頻度は失ってよいデータの量で決める
失ってよいデータが少ないほど、差分バックアップを真剣に考える必要があります。
Google は古い版の Gmail で、ほぼリアルタイムのストリーミングでバックアップを取っていました。
ただし頻繁なフルバックアップは、稼働中のデータストアに計算の負荷をかけ、サービスを性能の限界に近づけます。
そのため、フルバックアップは空いている時間帯に取り、混んでいる時間帯は差分でつなぐという分け方が示されています。
置き場所は戻す速さと守る範囲で段を分ける
SRE 本が勧めるのは、段ごとに役割を変える階層型のバックアップです。
| 段 | 置き場所 | 保持期間の目安 | 戻す時間の目安 | 主に守るもの |
|---|---|---|---|---|
| 1 段目 | 本番のデータストアのすぐ近く | 数時間〜1 桁の日数 | 数分 | ソフトウェアのバグや開発者のミス |
| 2 段目 | 同じ拠点の分散ファイルシステム | 1 桁〜2 桁前半の日数 | 数時間 | 本番側のストレージの不具合、気づくのが遅れたバグ |
| 3 段目以降 | テープなどのニアラインや拠点の外 | より長く残し、取る頻度は下げる | 章では数字を挙げていない | 拠点ごとの障害やファイルシステムの破損 |
下の段ほどコピーに時間がかかるので、取れる頻度は下がります。
同章の例では、データベースのトランザクションの複製は秒単位、ファイルシステムへのスナップショットの書き出しは 40 分、その下のファイルシステムのフルバックアップは数時間かかります。
この例で最新のスナップショットから戻すと最大 40 分ぶんのデータを失い、ファイルシステムのバックアップからなら数時間ぶんを失うかもしれません。
戻すのにも、取るのと同じくらいの時間がかかる見込みだと同章は付け加えています。
保持期間はバグに気づくまでの時間で決める
じわじわ進む破損は、気づくまでに時間がかかるぶん、遠い過去のバックアップが必要になります。
Google の経験では、アプリケーションの小さなバグによる書き換えや削除が最も古いバックアップを求め、データが失われ始めてから数か月後に気づいた例もありました。
一方で開発の速い現場では、コードやスキーマの変更で古いバックアップほど使いにくくなります。
Google は多くのサービスで、保持期間を 30 日から 90 日のあいだに置いています。
週に 2 回リリースするなら、2 段目のバックアップは少なくとも 1〜2 週間は残すとよい、という目安も同章にあります。
守る範囲は置き場所と仕組みを変えて広げる
SRE 本は、ある層の故障から守るにはその層で別の部品にデータを置く必要があるとして、多様性を鍵に挙げています。
データベースのエクスポートをデータベースと同じファイルシステムに書いていれば、そのファイルシステムの不具合や攻撃からは守れません。
AWS のホワイトペーパーも、別アカウントへバックアップをコピーすると、内部の不正やアカウントの乗っ取りを含む災害から守りやすくなると書いています。
戻す対象はデータだけではありません。
同じホワイトペーパーは、データに加えてインフラ・設定・アプリケーションのコードも再デプロイが要るので、インフラをコードで管理しておかないと RTO を超えるおそれがあると指摘しています。
戻せることを定期的に確かめる
SRE 本は、章から一つだけ持ち帰るなら、最近の状態に戻せると分かるのは実際に戻したときだけだと念を押しています。
そのために同章は、通常の運用の一部として復旧を継続的に試すことと、復旧が成功の合図を返さなければ鳴るアラートを置くことを勧めています。
手作業の行事にすると深く頻繁には行われなくなるので、できるだけ自動化して続けるべきだという考えです。
試すときに確かめる項目として、同章は次を挙げています。
- バックアップは有効で欠けがないか、空ではないか
- 準備・復元・後処理を回すだけの計算資源があるか
- 現実的な時間で終わるか
- 進み具合を監視できるか
- 24 時間使えるとは限らない外部の保管庫など、自分で制御できないものに依存していないか
AWS Well-Architected の信頼性の柱も、REL09-BP04 で、バックアップを定期的に別の場所へ戻してデータを検証することを求めています。
避けるべきやり方として、戻したのにデータを読んで確かめないこと、バックアップがあると思い込むこと、復元の時間が RTO に収まると思い込むことなどが並んでいます。
検証の方法には、バックアップを取った時点の元データと戻したデータのチェックサムを比べる例が挙がっています。
参考: REL09-BP04 Perform periodic recovery of the data to verify backup integrity and processes
手順書なしで戻すこともアンチパターンに入っているので、復元の手順はランブックとして残しておくのが前提です。
ランブックの書き方そのものは、ランブック入門の記事で扱っています。
訓練が効いた例として、SRE 本は 2011 年 2 月の Gmail の復旧を紹介しています。
Gmail で大量の利用者データが失われ、オフラインのテープのバックアップである GTape から戻すことになりました。
この規模で本番のデータを戻すのは初めてでしたが、同じ状況を何度も模擬していたため、多くのアカウントの復旧にかかる時間を見積もれました。
結果として、全アカウントの復旧を最初の見積もりと数時間の差で終え、99% 超のデータは見積もりの完了時刻より前に戻したとされています。
戻せなかった GitLab.com の事例に見る落とし穴
2017 年 1 月 31 日、GitLab.com では、セカンダリのデータベースのディレクトリを消すはずの作業で、プライマリのディレクトリを誤って消してしまいました。
同社の公開ポストモーテムによると、当時は次の仕組みを持っていました。
- 24 時間ごとに pg_dump でバックアップを取り、Amazon S3 に置く
- 24 時間ごとに本番の LVM スナップショットを取り、ステージング環境へ読み込む
- NFS サーバーなどには 24 時間ごとに Azure のディスクスナップショットを取る(データベースのサーバーでは無効)
- PostgreSQL のホスト間のレプリケーション(フェイルオーバー用で、災害復旧用ではない)
ところが pg_dump のバックアップを探すと S3 のバケットは空で、どこにも最近のバックアップがありませんでした。
原因は、バックアップの処理が PostgreSQL 9.6 のデータベースに pg_dump 9.2 を使い、エラーで止まっていたことです。
失敗はメールで通知される設定でしたが、DMARC の署名が無いメールとして受信側に拒否され、誰も気づいていませんでした。
レプリケーションのほうは、その時点で壊れていたうえ、プライマリとセカンダリの両方からデータが消えていたため、戻す元になりませんでした。
最終的に使えたのは、エンジニアが約 6 時間前に手作業で取っていた LVM スナップショットでした。
それでも、通信速度が約 60Mbps に絞られたネットワークディスクのせいで、ステージングから本番へのコピーに約 18 時間かかっています。
1 月 31 日 17:20 から 00:00(UTC)までのデータベースの変更は戻らず、約 5,000 件のプロジェクト、約 5,000 件のコメント、約 700 件の新規ユーザーアカウントに影響したと推定されています。
なぜバックアップを定期的に試していなかったのかという問いには、担当者がおらず誰も責任を持っていなかったと答えています。
再発防止には、バックアップの監視、PostgreSQL のバックアップの復元を自動で試すこと、データの耐久性の担当者を決めることが並びました。
参考: Postmortem of database outage of January 31
この事例を SRE 本の章に重ねると、落とし穴は次の四つに整理できます。
- 失敗の通知が届くところまで確かめないと、バックアップは黙って止まる
- 災害復旧用に作っていないコピーが命綱になると、戻す速さを設計できない
- 戻すときの転送速度が、そのまま RTO を決める
- 担当者がいないと、復元の試験は誰の仕事にもならない
どれも、バックアップを「取る」ところまでしか見ていないと、障害が起きるまで表に出ない性質の問題です。
最後に
バックアップの設計は、取り方から始めると「取っている」で止まりやすく、戻し方から始めると決めるべきことが見えてきます。
何から守るかを壊れ方の組み合わせで洗い出し、RTO と RPO から頻度・置き場所・保持期間を決め、戻せることを自動の試験で確かめ続けるのが基本の形です。
戻したことのないバックアップは、まだ戻せるかどうか分からないものとして扱うのが、この分野の出発点になります。
以上です。











コメントを残す