データ基盤と生成AI|CortexのRAGで用意するもの

データ基盤と生成AI|CortexのRAGで用意するもの

社内の文書や売上の表に生成AIで答えさせたいという話は、データ基盤の担当に「RAG の検索の部分を用意してほしい」という形で届きます。

Snowflake では、その部品が Cortex という名前でまとまっていて、LLM を呼ぶ SQL の関数、文書の検索、自然言語からの SQL 生成までがそろっています。

部品を RAG の流れに並べてみると、大半を占めるのはモデルの選択ではなく、文書の文字化と分割、検索の索引、指標の定義、権限の設計といったデータ基盤の仕事です。

その分担が見えると、AWS で Amazon Bedrock Knowledge Bases を使って組むときに、どこを誰が持つのかにも説明がつきます。

私は Snowflake も Bedrock Knowledge Bases も自分のプロジェクトでは使っておらず、公式ドキュメントを読みながら学んでいるところです。

前の記事では、同じ Snowflake の中で機械学習を進める部品を並べました。

Snowflakeで機械学習|特徴量とモデルの管理

CortexとRAGとは

RAG は、質問に関係する文書を先に検索し、その中身をプロンプトに足してから LLM に答えを作らせる仕組みです。

LLM が学習していない社内の情報でも、検索で見つけた文書を根拠に答えられるようになります。

Snowflake の Cortex には、この流れを Snowflake の中だけで組むための機能が用意されています。

Cortex AI Functions の説明には、Snowflake が提供する LLM はすべて Snowflake のサービスの境界の中に置かれていると書かれていました。

RAG で使う部品と、2026 年 10 月 8 日に確かめた提供の状況を並べると、次のようになります。

部品何をするかRAG での役割提供の状況
Cortex AI FunctionsAI_COMPLETE・AI_PARSE_DOCUMENT・AI_EMBED などの SQL 関数で LLM を呼ぶ文書を文字にする、答えを作る関数ごとに違う。プレビューと書かれていない関数は一般提供
Cortex Searchベクトル検索とキーワード検索を組み合わせ、並べ替えまで行う検索サービス質問に近い文書を探す2024 年 10 月 4 日に一般提供。自動停止などの一部の機能はプレビュー
Cortex Analyst自然言語の質問から、表に対する SQL を作る売上や件数の質問に答える2026 年 8 月 28 日に Cortex Agents への移行が勧められた
Cortex Agents計画を立て、検索や SQL のツールを使い分けて答えをまとめる文書と表の両方にまたがる質問に答える2025 年 11 月 4 日に一般提供

Cortex AI Functions

Cortex AI Functions の説明には、関数の一部はプレビューで、プレビューと書かれていない関数は一般提供だと書かれています。

RAG でよく使うのは、答えを作る AI_COMPLETE、ステージに置いた文書から文字を取り出す AI_PARSE_DOCUMENT、文章を数値のベクトルに変える AI_EMBED です。

10 月 8 日に確かめた時点で、この 3 つの関数のページにはプレビューの表示がありませんでした。

AI_PARSE_DOCUMENT の LAYOUT モードは 2025 年 8 月 21 日のリリースノートで一般提供になり、表や見出しを残したまま Markdown で返します。

AI_EMBED は、2025 年 11 月 4 日に一般提供になった関数の 1 つです。

Cortex Search

Cortex Search の説明によると、検索はベクトル検索とキーワード検索で候補を集め、意味の近さで並べ替えてから結果を返します。

埋め込みの計算や索引の更新は Cortex Search の側が受け持つので、ベクトルデータベースを別に用意する必要はありません。

サービスは SQL のクエリから作り、そのクエリの結果が検索の対象になります。

元の表が変わったときの更新は、動的テーブルと同じ仕組みで、TARGET_LAG に決めた遅れの範囲で行われます。

Cortex Analyst と Cortex Agents

Cortex Analyst の説明によると、Cortex Analyst はセマンティックビューを手がかりに、業務の質問から SQL を作ります。

文書の検索とは違い、答えは生成した SQL をウェアハウスで実行した結果から出てきます。

2026 年 8 月 28 日のリリースノートは、Cortex Analyst のすべての機能を持つ Cortex Agents への移行を勧めていました。

既存のアプリはそのまま動き、Cortex Analyst の REST API も使い続けられます。

Cortex Agents の説明では、表には Cortex Analyst、文書には Cortex Search をツールとして使い、結果を組み合わせて答えると説明されています。

どこで使われるか

典型的な使い方は、社内規程や議事録の PDF に答える社内向けのチャットと、売上の表に自然言語で問い合わせる分析の窓口です。

Cortex Search で PDF のチャットを作るチュートリアルは、ステージの PDF を文字にし、分割して検索サービスを作り、アプリから検索して答えを作る順に進みます。

この流れのうち、データ基盤の側が用意するものを順に見ます。

文書を文字にして分ける

最初の仕事は、PDF のような文書を、検索できる文字の表に変えることです。

チュートリアルでは、AI_PARSE_DOCUMENT の LAYOUT モードで PDF を Markdown にしていました。

続けて SPLIT_TEXT_MARKDOWN_HEADER で、見出しを境に 2,000 文字ずつに分けています。

分けた 1 つ 1 つの断片はチャンクと呼ばれ、検索はこの単位で行われます。

Cortex Search の説明では、検索の列のテキストを 512 トークン以下のチャンクに分けることが勧められています。

理由として挙げられていたのは、チャンクが小さいほうが検索の精度も LLM の答えの質も上がりやすいという調査です。

また、埋め込みモデルが一度に読める長さを超えた分は、ベクトル検索では切り捨てられ、キーワード検索にだけ使われます。

検索サービスを作り、更新を任せる

次は、チャンクの表を元に検索サービスを作ります。

次は、ドキュメントの書式に沿って私が短くまとめた例で、実行はしていません。

-- ステージの PDF を LAYOUT モードで文字にする
CREATE TABLE raw_text AS
SELECT relative_path,
       TO_VARCHAR(AI_PARSE_DOCUMENT(
         TO_FILE('@docs', relative_path), {'mode': 'LAYOUT'}):content) AS body
FROM DIRECTORY('@docs');
-- チャンクに分けて chunks 表を作る部分は省略
CREATE CORTEX SEARCH SERVICE doc_search
  ON chunk
  ATTRIBUTES department
  WAREHOUSE = search_wh
  TARGET_LAG = '1 hour'
  EMBEDDING_MODEL = 'snowflake-arctic-embed-l-v2.0'
  AS (SELECT chunk, department, relative_path FROM chunks);

ON に書いた列が検索の対象で、ATTRIBUTES に書いた列は検索のときの絞り込みに使えます。

WAREHOUSE は、作るときと更新のときに元のクエリを実行するウェアハウスです。

Cortex Search の説明では、サービスごとに MEDIUM 以下の専用のウェアハウスを使うよう勧めていました。

既定の埋め込みモデルの snowflake-arctic-embed-m-v1.5 は英語だけに対応しているので、日本語の文書には多言語のモデルを指定します。

東京リージョンでは、多言語の snowflake-arctic-embed-l-v2.0 と snowflake-arctic-embed-l-v2.0-8k、voyage-multilingual-2 が使えます。

アプリからの検索には、Python の API か REST API を使います。

SQL の SEARCH_PREVIEW 関数は、作ったサービスに中身が入っているかを確かめる用途で紹介されていました。

表のデータには意味の層を足す

売上や件数の質問に答えるには、文書の検索とは別に、表の意味を LLM に伝える層が要ります。

Cortex Analyst の説明によると、表の構造だけを渡された LLM は、業務の定義や指標の計算方法を知らないため、SQL を間違えやすくなります。

そこで使うのが、スキーマの中のオブジェクトとして作るセマンティックビューです。

セマンティックビューには、論理的な表、分類に使う列、行ごとの数値、集計した指標、表どうしの結合の仕方を定義します。

説明文や同義語に加えて、検証済みの質問と SQL の組も持たせられます。

「売上」がどの列をどう集計した値なのかを決めておくのは、モデルではなくデータ基盤の側の仕事です。

Cortex Agents に移っても、同じセマンティックビューと検証済みの質問がそのまま使われます。

誰が何を引けるかを決める

権限の設計も、データ基盤の側に残る仕事です。

権限の説明によると、AI の関数を呼ぶ権限は、既定ですべてのユーザーが持つ PUBLIC ロールに付与されています。

使う人を限りたいなら、PUBLIC から外して、決めたロールにだけ付け直します。

Cortex Analyst の説明には、ステージに置いたセマンティックモデルの YAML は、そのステージを読めるロールなら、元の表の権限が無くても読めると書かれていました。

検索の権限には、もう 1 つ大きな注意点があり、課金と落とし穴の節で扱います。

どこで推論するかを決める

推論をどのリージョンで処理するかも、アカウントの設定で決まります。

クロスリージョン推論の説明によると、CORTEX_ENABLED_CROSS_REGION というアカウントのパラメータで、推論を送ってよい範囲を指定します。

データ自体はアカウントのリージョンに置かれたままで、推論の入力と出力だけが処理のあいだ別のリージョンへ送られます。

パラメータの説明では、値を設定していない東京リージョンの商用アカウントの既定値は、日本の AWS リージョンの中で処理する AWS_JP です。

ただし、2026 年 3 月 9 日より後に作られた新しい組織のアカウントでは、既定値が ANY_REGION になっています。

DISABLED にすると、使えるモデルと機能は自分のリージョンに置かれたものに限られます。

データの置き場所に決まりがあるなら、既定値に任せずに値を明示するよう、公式も勧めていました。

先に知っておく用語

ここまでと、この後の比較に出てくる言葉を確かめておきます。

  • RAG: 質問に関係する文書を検索し、プロンプトに足してから答えを作らせる仕組み
  • 埋め込み: 文章の意味を数値のベクトルに変えたもの。近い意味の文章はベクトルも近くなる
  • チャンク: 検索のために文書を分けた断片
  • ハイブリッド検索: ベクトル検索とキーワード検索を組み合わせて候補を集める方法
  • リランキング: 集めた候補を、質問との関係の強さで並べ替え直す処理
  • セマンティックビュー: 表の意味・指標・結合を定義した Snowflake のオブジェクト
  • クロスリージョン推論: 推論の処理を、アカウントとは別のリージョンでも行う仕組み
  • 所有者の権限: オブジェクトを実行するとき、呼び出した人ではなく持ち主のロールの権限で動くこと

RAG の仕組みそのものは、AI の用語解説の記事で整理しています。

RAGとは?AIに外部の知識を後から渡す仕組みを整理

いつ使わないか

AWS で同じことを組むなら、中心になるのは Amazon Bedrock Knowledge Bases です。

Bedrock Knowledge Bases の説明によると、ナレッジベースには 2 つの種類があります。

Bedrock が保存と検索の基盤まで管理する Managed Knowledge Base と、ベクトルストアを自分で選んで持つ Customer-managed Knowledge Base です。

Managed Knowledge Base は、2026 年 5 月 26 日の更新履歴で加わった形で、東京リージョンでも使えます。

工程ごとに並べると、次のように対応します。

工程SnowflakeAWS
文書を文字にするAI_PARSE_DOCUMENTナレッジベースのパーサー(既定・基盤モデル・Bedrock Data Automation)
チャンクに分けるSPLIT_TEXT_RECURSIVE_CHARACTER などの関数ナレッジベースのチャンキングの設定
索引を持つ場所Cortex Search の中Managed は Bedrock の中、Customer-managed は OpenSearch Serverless・Aurora・S3 Vectors など
元のデータの変更を反映するTARGET_LAG に沿った自動の更新データソースの同期を実行する
表への質問を SQL にするCortex Analyst とセマンティックビュー構造化データストアのナレッジベース(Redshift が SQL を実行)
答えを作るAI_COMPLETE か Cortex AgentsRetrieveAndGenerate の API

一番大きな違いは、文書の正本がどこにあるかです。

Cortex Search は SQL のクエリの結果を検索の対象にするので、文書は Snowflake の表かステージに入っている必要があります。

Bedrock Knowledge Bases の Managed Knowledge Base は、S3 のほか、SharePoint・Confluence・Google Drive などをデータソースとして直接つなげます。

違いはもう 1 つ、表への質問の作りです。

構造化データストアの準備の説明によると、Bedrock Knowledge Bases は Amazon Redshift を問い合わせのエンジンに使います。

SQL を実行する先は、Redshift の表か、Glue Data Catalog に登録されたデータです。

意味の層にあたるのは、作成の説明にある表や列の説明、対象に含める表と外す表の指定、質問と SQL の例の 3 つです。

同じ準備の説明には、任意の SQL を実行させることはセキュリティ上の危険になりうるので、権限を絞ったロールや読み取り専用のデータベースを使うよう書かれていました。

Cortex の部品を選ばないほうがよい場面は、次のとおりです。

選ばないもの場面理由
Cortex Search文書の正本が S3 や SharePoint にあり、Snowflake には置いていない検索のためだけに文書を Snowflake へ写して表にすることになる
行単位のマスキングのポリシーがある表を元にした Cortex Search利用者ごとに見える行を変えたい検索は持ち主の権限で動き、利用者の権限では絞られない
Cortex Analyst の REST API を新しく直接使うこれから自然言語の分析を作る2026 年 8 月 28 日から Cortex Agents への移行が勧められている
クロスリージョン推論が前提のモデル推論を自分のリージョンの中だけで済ませる決まりがあるDISABLED では、自分のリージョンに置かれたモデルしか使えない

文書の正本と権限の仕組みがすでにある場所に検索を置くと、写す手間と権限の二重管理を避けられます。

課金と落とし穴

部品ごとに、何に対して払うのかが違います。

課金の軸

金額は改定されやすいので、ここでは何に対して払うかだけを並べます。

部品何に対して払うか
AI_COMPLETE などの生成の関数入力と出力のトークン。AI_CLASSIFY や AI_FILTER などは関数が足すプロンプトの分も入力に数えられる
AI_EMBED入力のトークンだけ
AI_PARSE_DOCUMENT処理したページの数
関数を呼ぶクエリ動いているウェアハウスのクレジット
Cortex Search更新に使うウェアハウス、埋め込みのトークン、提供の計算、保存、変更の検知に使うクラウドサービス層
Cortex Analyst成功した応答(HTTP 200)のメッセージの数と、生成された SQL を実行するウェアハウス
Cortex Agentsオーケストレーションに使ったトークンと、呼び出したツールの分

AI 関数の費用の説明では、関数を呼ぶウェアハウスは MEDIUM 以下を勧めていて、大きくしても速くならないと書かれていました。

クロスリージョン推論でも、クレジットは依頼した側のリージョンで消費したものとして数えられ、データの転送料はかかりません。

AWS の側では、パーサーの説明によると、既定のパーサーは料金がかからず、Bedrock Data Automation はページ数、基盤モデルはトークン数で課金されます。

問い合わせが無くても検索の提供に課金される

Cortex Search の提供の計算は、索引にしたデータの量に対して、月あたりの単位で課金されます。

サービスが問い合わせに応じられる状態のあいだは、実際の問い合わせが 0 件でもこの費用がかかります。

使っていない時間を止める AUTO_SUSPEND は、10 月 8 日の時点でプレビューで、指定できる最短の時間は 1,800 秒です。

止まったサービスへの最初の問い合わせは再開を待ってから返り、再開には数分かかることがあります。

再開のあいだに届いたほかの問い合わせは HTTP 429 で返るので、アプリ側に再試行の処理が要ります。

AWS でも事情は似ていて、OpenSearch Serverless では、コレクションのグループに最小の OCU を決めると、その分は通信量に関係なく用意されます。

元の表の作りで更新が止まる

Cortex Search の元になる表は、すべて変更の追跡が有効になっている必要があります。

元のクエリは、動的テーブルの増分の更新ができる形でなければなりません。

全体を作り直す更新を認めないのは、埋め込みの計算で費用が膨らむのを防ぐためだと説明されています。

元のクエリの失敗による更新のエラーが 5 回続くと、索引の更新は自動で止まります。

主キーを指定したサービスなら、変わった行だけを処理する更新の経路が使われ、変わっていない行の埋め込みは計算し直されません。

検索は持ち主の権限で動く

Cortex Search の問い合わせの説明によると、検索サービスは所有者の権限で検索を行います。

サービスを使う権限を持つロールなら、元の表への権限に関係なく、索引にされたデータをすべて検索できます。

説明には、行のマスキングのポリシーがある表でも、持ち主のロールが読める行は、利用者が読めない行であっても検索結果に出るという例が載っていました。

部署ごとに見せる文書を分けたいなら、サービスを部署ごとに分けて、それぞれの使用権限を部署のロールにだけ付ける形が考えられます。

AWS の Managed Knowledge Base には、文書ごとのアクセス制御の機能があり、Customer-managed では使えない機能として挙げられていました。

他クラウドでは

Google Cloud では、BigQuery の SQL から LLM と検索を使えます。

BigQuery の生成 AI の概要によると、AI.GENERATE で Gemini のモデルに推論させ、AI.EMBED で埋め込みを作れます。

Generative AI overview  |  BigQuery  |  Google Cloud Documentation

検索の関数の説明では、VECTOR_SEARCH でベクトル検索ができ、キーワード検索と組み合わせるハイブリッド検索は、10 月 8 日の時点でプレビューでした。

Search functions  |  BigQuery  |  Google Cloud Documentation

Azure では、Azure AI Search が RAG の検索を受け持ちます。

Azure AI Search の RAG の説明は、ハイブリッド検索と意味による並べ替えを使う従来の形と、LLM が質問を分解して検索するエージェント型の検索の 2 つを挙げています。

RAG and Generative AI - Foundry IQ (Azure AI Search)

エージェント型の検索のうち、LLM による質問の分解はプレビューと書かれていました。

区分SnowflakeAWSGoogle CloudAzure
RAG の検索Cortex SearchAmazon Bedrock Knowledge BasesBigQuery の VECTOR_SEARCHAzure AI Search
文書の正本の置き場所Snowflake の表かステージS3 や SharePoint などのデータソースBigQuery のテーブルBlob Storage や SharePoint などのデータソース

データ基盤の中で検索まで組むなら Snowflake と BigQuery、検索を独立したサービスに任せるなら AWS と Azure、という分かれ方になります。

参考

本文のリンクで紹介した公式ドキュメントとリリースノートは、いずれも 2026-10-08 に参照しました。

Cortex は機能の追加と名前の変更が続いていて、提供の段階や対応リージョンも変わるので、構成を決める前にはリンク先の最新の記述を確かめてください。

最後に

Cortex で RAG を組むとき、モデルは関数の引数で選べますが、文書の文字化と分割、検索サービスの更新、セマンティックビュー、権限、推論のリージョンはデータ基盤の側で決めることになります。

AWS では Bedrock Knowledge Bases が同じ役割を持ち、文書の正本をデータソースとして直接つなげる点と、表への質問に Redshift を使う点が違いでした。

資格試験では、AWS Certified AI Practitioner の試験ガイドの第 3 分野が対応します。

Bedrock Knowledge Bases を例にした RAG の説明と、埋め込みを保存するベクトルデータベースのサービスが、出題の範囲に挙がっています。

次は、Snowflake と並んで提案に出てくる Databricks との選び分けを整理する予定です。

検索の権限が呼び出した人と持ち主のどちらで決まるかを最初に確かめておくと、どの製品で組む場合でも、見せてはいけない文書が答えに混ざる事故を防げます。

以上です。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA