FDEの顧客環境デプロイ|閉域網にどう届け続けるか

FDEの顧客環境デプロイ|閉域網にどう届け続けるか

FDE(Forward Deployed Engineer)は、顧客の現場に入り込み、その会社の業務で動く仕組みを作るエンジニアです。

Anthropic の FDE の求人票にも、顧客のシステムの中で Claude を使った本番のアプリケーションを作る、という責務が書かれています。

ただ、作った仕組みは一度入れて終わりにはなりません。

モデルやライブラリの更新、脆弱性の修正、設定の変更を、その後も顧客の環境へ届け続ける必要があります。

顧客の環境がオンプレミスや、インターネットにつながらない閉域網だと、この「届け続ける」が急に難しくなるのです。

閉域網への継続的な配布を長く続けてきた Palantir の Apollo の公開資料と、各社の求人票を読むと、更新を届け続けるための考え方が見えてきます。

私も FDE の仕事は学んでいる途中なので、公開資料に書かれている範囲に絞って書きます。

顧客環境は「一つのクラウド」ではない

Palantir は Apollo のドキュメントの冒頭で、いまは単一の「クラウド」は無く、公開・非公開・その混成のクラウドが並んでいる、と書いています。

背景に挙げられているのは、GDPR のようなデータ保護の規制、特定の国のために作られたソブリンクラウド、米国政府の FedRAMP のような認定の枠組みでした。

FDE が入る顧客の環境も、この並びのどこかにあります。

ベンダーが運用するクラウドに置ける顧客もいれば、自社のクラウドアカウントや自社のデータセンターから出せない顧客もいるでしょう。

いちばん厳しいのは、外へのネットワークの経路そのものが無い閉域網です。

顧客のシステムからデータを取り出す側の難しさは、データ統合の記事で書きました。

FDEが扱うデータ統合の現実|顧客システムからどう取り出すか

ここから扱うのは、その逆向きの流れです。

Palantir Blog の「Deploying Across Security Domains」(2023 年 11 月)は、閉域網へソフトウェアを届ける従来の手順を次のように並べています。

  • 必要性・互換性・許可の有無から、送るパッケージを決める
  • 悪意のあるコードと脆弱性を検査する
  • DVD に焼く
  • 手作業で脆弱性を検査する
  • 閉域網まで歩いて運ぶ(スニーカーネット)
  • 媒体を物理的に移す
  • 閉域網の側でもう一度ウイルスを検査する
  • 対象の環境へデプロイする

同じ記事によると、この手間のせいで、民間向けと政府向けでコードベースを分けたソフトウェア会社まであったそうです。

その結果、民間の利用者のほうが新機能や修正を早く受け取る、という差が生まれていました。

閉域網の顧客ほど、更新が遅れて脆弱性を抱えたままになりやすいという構図です。

Palantir Blog「Deploying Across Security Domains」

変更は「押し込む」より「取りに来てもらう」

Apollo は、ハブとスポークという形で環境を管理します。

ハブは他の環境を管理する側の環境で、管理される側の環境がスポークです。

スポークの中ではエージェントが動いていて、ハブに新しい作業(Plan)が無いかを問い合わせ続け、環境の状態を報告しています。

ドキュメントは、従来のデプロイを「プッシュ」型と呼んでいます。

プッシュ型では、開発者がリリースの流れを一本の線で決め、各段階でどの環境に配るかを選びます。

この形だと、開発者や DevOps のチームが、環境ごとの制約や安定性の要求をすべて知っていなければなりません。

Apollo はこれを「プル」型に置き換えました。

開発者は、製品どうしの依存関係や対応するデータベースのスキーマのような、製品側の制約を定義します。

環境の担当者は、変更してよい時間帯のような、環境側の制約を定義します。

そのうえで環境の担当者は、DEV・RELEASE_CANDIDATE・RELEASE のようなリリースチャネルから、自分の環境に合う速さと安定性のものを購読するのです。

ハブは、関係する制約がすべて満たされたときにだけ、Plan をエージェントへ送ります。

変更の判断を、製品側の制約と環境側の制約に分けて持つのが、この形の芯です。

顧客の情報システム部門が決めた変更してよい曜日や時間帯も、この環境側の制約として書けます。

承認の手順は、組織の SAML の ID プロバイダーとつなぎ、既存のグループで承認者を決める形です。

変更要求はすべて記録されるので、監査の材料にもなります。

失敗したときの止まり方が決まっているのも特徴です。

Plan が失敗すると、Apollo はその対象に自動で抑止の時間枠(suppression window)を設け、それ以上の作業を止めます。

抑止された対象の数が設定した閾値を超えると、環境全体の作業も自動で止まります。

この仕組みは、Palantir の Apollo のドキュメント「Plans and Constraints」に書かれています。

ネットワークが切れた環境には、差分の束を運ぶ

ハブとスポークが通信できる前提だと、閉域網には届きません。

Palantir Blog によると、Apollo はこの場合、閉域網の中にリモートハブを置きます。

リモートハブは、外のハブにある製品カタログの写しを持ち、閉域網の中のスポークを管理します。

写しを更新するのに使うのが「バンドル」で、外のハブで作ったソフトウェアのデータ・イメージ・設定をまとめたものです。

既定のやり方では、このバンドルを人が運ぶ手順が残ります。

それでも従来より楽になるのは、バンドルの作り方に理由があるからです。

一度バンドルを運ぶと、外のハブは閉域網の中に何が入っているかを把握し、次からは新しく増えた分だけを送ります。

バンドルには、製品のリコール(配布の取り下げ)の指示や、閉域網側のウイルス対策ソフト向けの情報も入っています。

ドキュメントの用語では、最初のバンドルは依存の無いスナップショットで、差分方式のパイプラインなら 2 本目からが前のバンドルとの差分(インクリメンタル)です。

ただ、新しく送り先を加えるときに、長い履歴の差分を一つずつ運ぶと時間がかかりすぎます。

そのために用意されているのが、最新の状態へ一度で追いつかせるチェックポイントバンドルです。

初回はスナップショット、以降は差分、新しい環境はチェックポイントで追いつかせるという三つの使い分けになります。

ドキュメントには、車両に載った環境のように、止まっている間だけハブにつながって更新を受ける例も載っています。

受け取る側に置かれた関所が、変更要求と人の承認です。

バンドルに環境の変更が含まれていると、Apollo は適用の前に変更要求を作ります。

ネットワークのセキュリティルールの変更のようなものは、人の承認が必要です。

送り出す側でも、脆弱性の検査を通っていない製品のリリースを書き出さない設定ができます。

さらに Palantir は、異なるセキュリティ区分の間でデータを渡す認定済みの仕組みを使って、バンドルの移送を自動化する Binary Transfer Service(BTS)も公開しました。

BTS は新しいリリースを見つけると、検査の結果と、公開されているチェックサムと受け取ったファイルのハッシュが一致するかを確かめます。

同じブログは、Apollo によって自社のソフトウェアで FedRAMP、米国防総省の IL5・IL6、ICD 503 の認定を得られたと書いています。

閉域網への配り方は、Apollo のドキュメント「Checkpoint bundle」にまとまっています。

求人票に書かれたデプロイの仕事

Palantir には、インフラを専門にする Forward Deployed Infrastructure Engineer(FDIE)という職種があります。

米国政府向けの新卒の求人票では、監視とアラート、設定管理、アップグレードを含むソフトウェアの運用と、顧客の環境への新しい製品の導入が主な責務に並んでいます。

手作業の運用を減らして手順書を自動化すること、オンコールの当番に入ること、Foundry と Apollo の上でインフラの課題を解くことも書かれていました。

応募条件には、米国のセキュリティクリアランスを持っているか、取得できることが入っています。

Palantir「Forward Deployed Infrastructure Engineer, New Grad – US Government」

Palantir Technologies - Forward Deployed Infrastructure Engineer, New Grad - US Government

OpenAI の政府向けの FDSE(Forward Deployed Software Engineer)の求人票にも、デプロイが責務として書かれています。

顧客の環境をまたいでデプロイを成功させるために、インフラからアプリケーションまでを観測できるシステムとして納める、という一文です。

求める経験には、Azure や AWS へのデプロイの形態、Kubernetes、Terraform が挙がっています。

求める経歴の欄には、TS/SCI のクリアランスかそれと同等の資格も入っていました。

OpenAI「Forward Deployed Software Engineer, Gov」

Forward Deployed Software Engineer, Gov

生成AIの案件では、モデルをどこで動かすかもデプロイの設計に入ってきます。

Anthropic のドキュメントによると、Claude in Amazon Bedrock は AWS が管理する基盤の上で動き、Anthropic の社員は推論の基盤にアクセスできません。

ドキュメントはこれを、機密性の高いアプリケーションを AWS のセキュリティ境界の中だけで作れる形だと説明しています。

データの所在の要件に合わせて、指定した一つのリージョンで処理するリージョン別のエンドポイントも選べます。

顧客のクラウドの中に閉じてよい案件では、モデルをその境界の中で呼ぶ経路も選択肢に入ります。

Anthropic「Claude in Amazon Bedrock」

Claude in Amazon Bedrock (bedrock-mantle)

つまずきやすいところ

ここまでの資料から、顧客環境へのデプロイでつまずきやすい点を三つ挙げます。

環境ごとにコードを分けてしまう

Palantir Blog が挙げた、民間向けと政府向けでコードベースを分けた例がこれに当たります。

政府向けの利用者には、新機能や修正が民間より遅れて届いていました。

Apollo のドキュメントは、開発者がコードを一度マージすれば、どの環境へどう届くかを気にしなくてよい形を掲げています。

Apollo では、環境ごとの違いを、環境ごとの設定(Environment Config)や環境側の制約として持てます。

毎回すべてを運ぶ

Palantir Blog は、たまにであっても毎回のバンドルにプラットフォーム全体のバイナリを入れると、数日待つことになりうると書いています。

送り先ごとに何を送ったかを覚えておき、差分だけを運ぶと、待ち時間と検査の手間の両方が減ります。

Apollo には、同じ送り先にすでに送ったデータを次のバンドルから外す機能もあり、ドキュメントでは試験的な機能として扱われています。

届いたことを確かめずに次へ進む

この試験的な機能のドキュメントには、送り先のハブへのアップロードが終わり、バンドルが届いたことを確かめるまで、送り元で転送の完了を確定させないよう書かれています。

先に確定させると、以降の書き出しが失敗する可能性が高いという注意です。

差分で運ぶ仕組みは、相手に何が届いているかの記録が正しいことを前提にしています。

記録と実際がずれると、差分が成り立たなくなるわけです。

最後に

顧客環境へのデプロイは、作ったものを一度入れて終わる作業ではありません。

更新を届け続ける経路を、顧客の制約に合わせて作る仕事です。

Apollo の資料からは、製品側と環境側の制約を分けて書くこと、つながらない環境には差分を束ねて運ぶこと、受け取る側に検査と承認の関所を置くこと、の三つが読み取れました。

求人票では、Palantir がこの仕事をインフラ専門の職種に切り出し、OpenAI は政府向けの FDSE の責務に含めています。

アプリケーションを作る力に加えて、顧客の制約の中で更新を回し続ける設計も、FDE の求人票が求める力の一つです。

現場のチームを誰と組むかは、こちらの記事で書いています。

FDEチームの組み方|エンジニアとストラテジストの分担

以上です。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA