プロンプトインジェクション対策：AI機能を作るプロダクトチームのためのセキュリティチェックリスト

OWASPは、プロンプトによってモデルの挙動や出力が意図しない形で変えられてしまう脆弱性をプロンプトインジェクションと定義しています。直接型は、チャットボットに入力するユーザー自身が指示を上書きしようとするものです。間接型は、モデルがWebページ、メール、PDF、問い合わせチケットなどの外部コンテンツを読み込み、その中に仕込まれた文章によって動作が変わるものです。OWASPによれば、仕込まれた文章は人の目に見える必要すらなく、モデルが読み取れれば成立します。

プロダクトチームが見落としがちなのは間接型です。NCSCは、採用担当者がAIで履歴書を選考する例を挙げています。応募者が自分の履歴書に指示を隠しておけば、システムはそれを採用担当者からの指示であるかのように処理してしまいます。ユーザー以外の第三者が書いたコンテンツを要約・分類したり、それに基づいて動作したりする機能は、すべてこのリスクを抱えています。

SQLインジェクションは、コードとデータを別の経路で扱うパラメータ化クエリによって根本的に解決されました。英国国家サイバーセキュリティセンター（NCSC）は2025年12月、この比較は危険だと指摘しました。現在の大規模言語モデルはプロンプト内の指示とデータの間にセキュリティ境界を設けておらず、同じ方法で完全に緩和することはできない可能性があるというのです。NCSCはモデルを「本質的に混乱させられる代理人（confusable deputy）」と表現し、目標は攻撃の可能性と影響を減らすことだと結論づけています。残るリスクを許容できないシステムなら、そもそもLLMに向いた用途ではないかもしれない、とも述べています。

OWASPも別の観点から同じ結論に達しています。モデルの出力は確率的なため、完全な防止策が存在するかどうかは不明だとしています。公開された検証結果を見ると、その意味がよくわかります。Anthropicが2025年8月にブラウザエージェント「Claude in Chrome」を対象に29の攻撃シナリオ・123件のテストを行ったところ、新しい対策なしでは23.6%の攻撃が成功しました。サイト単位の権限、操作前の確認、システムプロンプトの改善、分類器を導入すると11.2%まで下がりました。大きな改善ですが保証にはほど遠く、だからこそ最も重要な防御はモデルの外側に置く必要があります。

開発者のSimon Willison氏が2025年6月に提唱した「lethal trifecta（致命的な三要素）」は、機能のリスクを素早く判定するのに役立ちます。AIエージェントが「機密データへのアクセス」「信頼できないコンテンツへの接触」「外部と通信する手段」の3つをすべて持つと、データ窃取の危険にさらされます。攻撃者が信頼できないコンテンツに指示を仕込み、モデルが機密データを読み、外部への通信経路でそれを持ち出すという流れです。NCSCのブログも関連する原則を支持しています。ある相手からの入力を処理するとき、モデルの権限はその相手のレベルまで下げるべきだというものです。

機能レビューでは、AI機能ごとにこの3項目を「はい／いいえ」で整理します。3つとも「はい」の機能は公開前に設計を見直します。多くの場合、外部への経路を取り除く（任意のURLへのアクセス、メール送信、出力内での外部画像の表示を禁止する）か、信頼できないコンテンツを読む部分が機密データに一切触れないよう機能を分割します。

IBM、Invariant Labs、チューリッヒ工科大学、Google、Microsoftなどの研究者による2025年6月の論文「Design Patterns for Securing LLM Agents against Prompt Injections」は、中心となる原則を明快に示しています。エージェントが信頼できない入力を取り込んだ後は、その入力が重要な操作を引き起こすことが不可能になるよう制約しなければならない、というものです。論文は6つのパターンを提案しており、それぞれ柔軟性の一部と引き換えにこの保証を得ます。

当社がAI機能を設計する際に使っているチェックリストです。OWASPの7つの緩和策、NCSCの助言、致命的な三要素の考え方を組み合わせ、モデルに依存しない対策から順に並べています。

OWASPは、モデルを信頼できないユーザーとみなし、信頼境界とアクセス制御が保たれているかを確かめる敵対的テストを定期的に行うよう推奨しています。自社で扱うデータ形式から小さな攻撃テスト集を作りましょう。隠し指示を含む問い合わせチケット、白地に白文字を埋め込んだPDF、システムプロンプトの開示を求める商品レビューなどです。プロンプト、モデル、ツールを変更するたびにCIで実行し、一度の合格を目指すのではなく成功率の推移を追います。

日本のチームには、IPAが2025年4月に改訂したAIセーフティ・インスティテュート（AISI）の「AIセーフティに関するレッドチーミング手法ガイド」が参考になります。RAGを実装したAIシステムに実際にレッドチーミングを行った手順と成果物の例が示されており、テスト計画のひな形として使えます。監視については、NCSCが不審な動きに気づけるだけのログを残すよう勧めており、モデルの入出力全体、ツールの使用、API呼び出しを含めることも挙げています。失敗したツール呼び出しにはアラートを設定しましょう。攻撃者による探りの最初の兆候である場合があるためです。

NCSCの購入者への助言は率直です。プロンプトインジェクションを「止められる」と主張するベンダーには注意し、リスクをどう減らすのかを説明できるベンダーを選ぶべきだとしています。Willison氏も、検知率を売りにするガードレール製品について同様の指摘をしています。Webアプリケーションセキュリティの世界では、95%は明らかに「不合格」の水準だというのです。