マルチモーダルとは?画像や音声も扱うAIの仕組みと使いどころ
マルチモーダルとは、画像や音声、動画も文字と一緒に扱えるAIの性質のこと。画像をパッチに切ってトークンの列に並べる仕組みと、画面や帳票の読み取りといった使いどころ、トークン消費や読み違いの落とし穴を公式ドキュメントをもとに解説。
AIマルチモーダルとは、画像や音声、動画も文字と一緒に扱えるAIの性質のこと。画像をパッチに切ってトークンの列に並べる仕組みと、画面や帳票の読み取りといった使いどころ、トークン消費や読み違いの落とし穴を公式ドキュメントをもとに解説。
AIオープンウェイトは学習済みの重みを配る公開の仕方です。学習データやコードまで求めるオープンソースAIとの違い、MIT・Apache 2.0・独自ライセンスで読むべき条項、手元で使うときのメモリと安全面の注意を整理しました。
AIベンチマーク汚染とは、テスト問題が学習データに紛れ込んでAIのスコアが実力より高く出る現象です。GSM1kの検証結果と、汚染に強い評価の作り方、スコアの読み方を整理しました。
AI合成データはモデルに書かせた学習データで、足りない量ではなく足りない種類を埋める道具。NVIDIAの公開データセットの内訳と、Nature論文が警告するモデル崩壊・評価データの汚染までを整理しました。
AIリワードハッキングは、AIが採点の文面だけを満たして設計者の意図を外す現象です。ボートレースの古典例から、テストをすり抜ける推論モデル、見抜き方と防ぎ方までを一次情報で整理しました。
AIアテンションが実際に何を計算しているのかを、Q・K・V とマルチヘッドの役割から整理しました。並列化が効く理由と、長い文脈でコストが跳ね上がる理由が、同じ構造から出てくる話です。
AILLMの生成が遅いのはメモリ帯域が原因。小さなドラフトモデルに数トークン先読みさせ、本命モデルがまとめて検証する投機的デコーディングの仕組みと、出力分布が変わらない理由、効かない場面を整理しました。
AIMoE(Mixture of Experts)が何を節約しているのかを、Mixtral 8x7Bの総47B・活性13Bという数字を手がかりに整理しました。速くなるのは計算で、メモリは減りません。
AIRLHFは人間の評価を報酬に変えてAIの答え方を寄せる学習方法です。3段階の流れ、なぜ模範解答ではなく順位を集めるのか、DPOのような後継手法までを一次論文つきで整理しました。
AIAIを自社仕様に寄せる代表的な手段、ファインチューニング。何が得意で、RAGやプロンプトとどう役割を分けるのかを、追加学習の仕組みから整理します。