FDEの引き継ぎ|常駐が終わったあと現場に何を残すか

FDEの引き継ぎ|常駐が終わったあと現場に何を残すか

FDE(Forward Deployed Engineer)は顧客の中に入り込み、本番で使われる仕組みを作るエンジニアです。

ただ、常駐の支援はいつか終わります。

終わった翌日から、その仕組みを動かし、直し、育てていくのは顧客側の人たちです。

データ分析の製品を提供する PostHog は、FDE チームの働き方をハンドブックとして公開していて、そこに引き継ぎの条件がかなり具体的に書かれていました。

このハンドブックと、運用の引き継ぎを長く扱ってきた Google の SRE(Site Reliability Engineering)の資料を並べると、引き継ぎで残すべきなのは成果物そのものより、FDE に聞かなくても顧客が回せる状態だと分かってきます。

私も FDE を学んでいる途中なので、公開資料から読み取れる範囲で、渡すものと渡し方を順に見ていきます。

引き継ぎの終わりは「FDEに聞かなくても回る」状態

PostHog のハンドブックの「顧客と働く」(原題 Working with customers)のページは、成果物が完成したと言える条件を一文で定めています。

顧客のチームにいる初対面の人がいきなり手に取っても、範囲を理解し、勧めに従って動け、PostHog に問い合わせずに済むことです。

そのために、どの成果物も次の 4 つの問いにこの順で答えるよう求められていました。

  • これは何か(専門用語を使わずに 1 段落で)
  • 何を見つけ、何を作ったか(結論を先に書く)
  • 顧客は次に何をするか(順番を付け、名前のある担当者に割り当てる)
  • 何を前提にし、何を範囲外としたか

書くときは PostHog の言葉ではなく顧客の言葉を使う、という注意も添えられています。

成果物と付き合い続けるのは顧客のチームだから、というのがその理由です。

引き継ぎが無いと何が起きるかは、Google の研修の題材からも想像がつきます。

Google の SRE 本(原題 Site Reliability Engineering)の第 28 章は、社内で人気の研修として「本番サービスのリバースエンジニアリング(担当者の手助けなし)」を紹介しました。

設定は、Google News のチームが全員で旅に出て 30 日間連絡が取れず、受講者が新しい担当として仕組みを端から端まで突き止める、というものです。

研修なら良い題材ですが、FDE が去ったあとの顧客の現場で同じことが起きたら、引き継ぎは失敗だったことになるでしょう。

現場に残す5つのもの

PostHog のハンドブックは、分析系の案件を「データの層」「毎日開くダッシュボードや自動化」「文書と研修」の順で進めると書いています。

最後の段は、PostHog が去ったあとに顧客のチームが持ち主になれるよう、引き継ぐための段です。

FDE が作るものを引き継ぎの目で見直すと、私は次の 5 つに分けて考えると整理しやすいと感じました。

運用の手順書

AWS Well-Architected フレームワークの運用上の優秀性の柱には、手順書(ランブック)を使って作業するというベストプラクティス(OPS07-BP03)があります。

そこではランブックを、決まった結果を得るための手順を文書にしたもので、いちばん簡単な形はチェックリストだと説明しています。

AWS Well-Architected「OPS07-BP03 Use runbooks to perform procedures」

中身には、目指す結果、必要な道具と権限、エラーが起きたときの扱いを入れるよう求められていました。

置き場所はバージョン管理のような一か所にまとめ、手順が変わるたびに更新します。

避けたい例としては、記憶に頼って作業を進めることや、ランブックがシステムの変更から取り残されることが挙がっています。

FDE が常駐中に手で回していた作業ほど、手順が本人の記憶の中にしか無いまま残りがちです。

権限と資格情報

見落とされやすいのが、仕組みが誰の権限で動いているかです。

AWS の IAM のベストプラクティスは、アプリケーションやバックエンドの処理には IAM ロールの一時的な認証情報を使わせるよう勧めています。

AWS IAM ユーザーガイド「Security best practices in IAM」

そうすれば、長く有効な IAM ユーザーの認証情報を処理に配る必要がありません。

人が使う場合も、ID プロバイダーと連携して一時的な認証情報でアクセスさせるのが基本とされています。

さらに、使われなくなったユーザー・ロール・権限・認証情報は、最終アクセスの情報を見て定期的に取り除くよう書かれていました。

FDE に当てはめると、データの取り込みや定期処理が FDE 個人の鍵で動いていないかを先に確かめることになります。

顧客の組織が管理するロールへ付け替えてから、FDE のアクセスを外す順番です。

データの流れ

PostHog のハンドブックは、データの層を先に固める理由として、半端につながったデータの上に作ったダッシュボードはエラーを出さないことを挙げています。

それらしく見えて実は違う数字を表示し、顧客がその数字で実際の判断をしてしまうからです。

この落とし穴は、FDE が去ったあとのほうが見つけにくくなります。

どのデータがどこから来て、どこで結合されているかを、顧客側の人が説明できる状態にして渡す必要があります。

評価の仕組み

生成 AI を使った仕組みでは、出力が正しいかを確かめる評価データと合否の基準も、引き継ぐものに入ります。

OpenAI の API ドキュメント「評価のベストプラクティス」(原題 Evaluation best practices)は、評価を一度で終わらない継続的な作業と位置づけています。

OpenAI API ドキュメント「Evaluation best practices」

Evaluation best practices | OpenAI API

そのうえで、変更のたびに評価を回す継続的な評価を組み、評価データを時間とともに増やしていくよう勧めていました。

モデルの版を替える、プロンプトを直すといった変更は、FDE が去ったあとも顧客の側で起きます。

評価の仕組みが FDE の手元にしか無いと、顧客はその変更で良くなったのか悪くなったのかを確かめられません。

評価データを顧客の現場でどう作るかは、別の記事にまとめました。

FDEと生成AI製品|評価データを顧客の現場でどう作るか

顧客側の担い手

最後に残すのは、ここまでのものを受け持つ人です。

PostHog のハンドブックは、きれいな引き継ぎの条件の 1 つ目に、成果物が出荷され、顧客側の名前のある担当者が承認していることを挙げています。

続きの作業は文章の中に埋もれさせず、明示的なタスクとして書き出すことも条件の 1 つでした。

案件の途中で出た質問に文書で答えておけば、次に同じ疑問を持った人が一から考え直さずに済む、とも書かれています。

引き継ぎは段階的に手を離す

渡すものが決まったら、次は渡し方です。

Google の SRE 本の第 32 章(原題 The Evolving SRE Engagement Model)は、開発チームが運用してきたサービスを SRE チームが引き受けるまでの手順を、本番準備レビュー(PRR)として説明しています。

Google SRE Book「The Evolving SRE Engagement Model」

FDE の引き継ぎとは渡し手も受け手も違いますが、運用を別のチームへ移す手順として参考になります。

引き受ける前に点検し、教える

PRR は、引き受けの合意、分析、改善、研修、引き受け、継続的な改善の順で進みます。

最初の合意の段階で、サービスの目標(SLO)や研修の予定まで話し合っておくのが特徴です。

分析の段階では、サービスごとのチェックリストを使って、本番の運用に足りないところを洗い出します。

研修では、設計の概要、リクエストの流れの深掘り、本番の構成の説明、運用の実習を行い、サービスを支えるための文書もここで整えます。

担当を少しずつ移し、渡し手は後ろに控える

引き受けの段階は、運用の一部、変更管理の手順、アクセス権といった担当を少しずつ移していく段階だと説明されています。

移し終えるまでの一定期間、開発チームは SRE チームの後ろに控えて助言する必要がある、とも書かれていました。

同じ本の第 28 章は、新しく入った SRE を当番(オンコール)に慣れさせる方法として、影の当番を勧めています。

Google SRE Book「Accelerating SREs to On-Call and Beyond」

まず新人に呼び出しの写しを届け、主担当が対応する様子を横で見てもらう段階です。

チームによってはその次に役を入れ替え、新人が主担当になり、経験者は状態を変えずに自分で診断しながら見守る「逆の影」を置くそうです。

仕組みの基礎を学んだ新人は、影の当番に入るのと同じころから、足りない文書や古くなった文書を直し始められるとも書かれています。

FDE に当てはめるなら、顧客側の担当者が見る段階から、担当者が回して FDE が見守る段階を経て手を離すという順番になります。

見守っている間に担当者自身が手順書を直していけば、手順書は受け手の言葉で書き直されていくでしょう。

つまずきやすいところ

ここまでの資料から読み取れる落とし穴を、3 つ挙げておきます。

1つ目は、文書と引き継ぎの準備を常駐の最後にまとめてやろうとすることです。

PostHog のハンドブックのFDE の働き方(原題 How forward deployed engineers work)のページは、案件の中で何をして、何を学び、何を直し、何を見つけたかを、ほかの人が見つけて使えるように記録するよう書いています。

SRE 本の第 32 章も、すでに動いているサービスを後から引き受ける PRR は関わり始めるのが遅いことが主な制約だとして、より早い段階から関わる形を紹介していました。

2つ目は、FDE 本人にしか動かせない作りにしてしまうことです。

PostHog は、特別な作り込みより製品に備わった機能を先に使うよう勧めています。

その理由は、FDE が去ったあとも顧客が保守できる道だから、というものでした。

3つ目は、引き継いだあとの細かな問い合わせを、FDE がそのまま抱え続けることです。

PostHog は、何度も繰り返される受け身の質問はサポートの持ち場で、FDE の案件ではないと線を引いています。

そうした問い合わせは黙って引き受けず、話の枠組みを直すよう求めていました。

ベンダーの中で FDE からカスタマーサクセスへ顧客との関係を渡す話は、定着の担い手を扱った記事で整理しています。

FDEとカスタマーサクセスの違い|定着を誰が受け持つか

最後に

FDE の引き継ぎで渡すものは、運用の手順書、権限と資格情報、データの流れ、評価の仕組み、顧客側の担い手の 5 つに分けて考えられます。

渡し方は、点検と研修を経て担当を少しずつ移し、しばらくは後ろに控えるのが基本です。

引き継ぎの出来は、FDE がいなくなった翌日に、顧客が誰にも聞かずに仕組みを回せるかで決まります。

受け持つ人と手順書を案件の始まりから決めておくことが、引き継ぎをいちばん軽くする準備になると私は考えています。

以上です。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA