AIセキュリティ
データポイズニング対策 生成AIの社内RAGを守る4つの運用手順
社内のFAQやマニュアルを読み込ませたチャットボットは問い合わせ対応の手間を減らしてくれます。ただし読み込ませた文書に古い内容や誰かが書き換えた内容が混ざると、AIはそれを正しい情報として答えてしまいます。この記事ではAIが参照するデータが汚されて誤答につながる問題をデータポイズニングと呼び、OWASPやNISTやIPAの公開資料を手がかりに仕組みを整理します。そのうえで情報システムや総務の担当者が一人でも続けられる運用手順を、出どころの確認から切り戻しまで順にまとめます。
データポイズニングとは何か 社内RAGで起きること
RAG(検索拡張生成)は、質問に合う社内文書を探してAIに渡しその内容をもとに答えさせる仕組みです。AIは渡された文書を正しいものとして扱うので、文書の中身が間違っていれば回答も間違います。たとえば改訂前の経費精算ルールや誰かが書き換えた問い合わせ窓口が混ざっていると、チャットボットはそれを自信ありげに案内してしまいます。この記事では、このようにAIが参照するデータが誤りや改ざんで汚され誤答につながる状態をデータポイズニングとして扱います。
よくある誤解
- AIの性能が高ければ誤った文書を見抜いてくれる
- 攻撃者が外から仕掛けるときだけの問題だ
- 一度読み込ませれば後は放っておいてよい
実際
- AIは渡された文書の正しさを自分では確かめられない
- 古い版の残りや社内の誤記でも同じ誤答が起きる
- 文書を更新するたびに中身を確かめる運用が要る
IPAのガイドラインは、生成AIを使いたい組織が導入に踏み切れなかったり運用が適切か不安を抱えたりする背景を「漠然とした不安感」と表現しています。課題があることは分かっても具体的なリスクと対策に落とし込むのが難しい、という整理です。データポイズニングも同じで、仕組みを知り手順に落とせば不安は管理できる作業に変わります。[3]
OWASPとNISTとIPAの資料をどう読むか
OWASP Gen AI Security Projectは「OWASP Top 10 for LLM Applications」を公開しています。LLM(大規模言語モデル。チャットボットの頭脳にあたるAI)を使うアプリの主なリスクを一覧にしたものです。その中にはプロンプトインジェクション、つまり利用者の入力がAIの振る舞いを変えてしまう弱点が挙げられています。[1]
プロンプトインジェクションは利用者の入力が入口になり、この記事で扱う問題は読み込ませる文書が入口になります。入口は違いますが、AIに渡る情報が汚されると回答がゆがむという点は共通です。各項目の正式な名前や詳しい中身は原文で確かめてから社内資料に引用してください。[1]
NISTのAI Risk Management Frameworkは、AI技術への信頼を育てAIの活用を後押ししながらリスクを抑えることを目指す指針として示されています。使うのをやめるのではなく、リスクを抑える仕組みを付けて使い続けるという考え方です。社内チャットボットの運用も、止めずに回しながら誤りを早く見つけて直す方向で設計すると現実的です。[2]
IPAが2024年7月31日に公開した「テキスト生成AIの導入・運用ガイドライン」は、導入担当者・運用担当者・セキュリティ担当者のそれぞれの考慮事項を章ごとに分けて説明しています。運用ではルールの策定と文書化を、リスク管理ではリスクマトリクスに沿った手法と具体的な対策を扱っています。なお内容はIPAの公式見解ではなく、中核人材育成プログラム卒業プロジェクトメンバーの見解に基づくと明記されています。[3]
手順1と2 文書の出どころと編集権限を固める
最初の守りは、AIに渡す前の文書そのものです。どこから来た文書か分からないまま取り込むと、誤りが見つかっても直すべき元の文書にたどり着けません。まず取り込み対象の文書を一覧にして、出どころと担当部署を書き出すところから始めます。
チェックリスト
- 文書ごとに担当部署と最終確認者が決まっている
- 社内の正式な保管場所から取り込んでいる
- 個人のPCやチャットに貼られた写しを取り込んでいない
- 文書に改訂日や版の情報が入っている
- 廃止した版を取り込み対象から外している
- 社外から受け取った資料は社内で中身を確かめてから入れている
- 取り込み元フォルダを編集できる人を担当部署の少人数に絞る
- 閲覧だけの人と編集できる人を分けて設定する
- 異動や退職のときに編集権限を外す手順を決めておく
- 誰でも編集できる共有リンクを取り込み元に使わない
- チャットボットの取り込み設定を変えられるのは担当者と代理の人に限る
IPAのガイドラインは運用担当者の考慮事項として、生成AIを組織で使うための利活用ガイドラインやルールを策定し文書化することを扱っています。出どころの決めごとや編集権限の範囲も口頭で済ませず、一枚の運用ルールとして残しておくと引き継ぎや見直しが楽になります。[3]
手順3と4 更新時の差分チェックと切り戻し
前回版と比べる
文書を差し替える前に、前回取り込んだ版との差分(変わった箇所)を表示して確認します。変更が多すぎるときは担当部署に理由を聞きます。
重要な語を見る
期限・連絡先・承認者・手順の順番など、間違うと業務に響く箇所を重点的に読みます。見覚えのない書き換えがあれば取り込みを保留します。
試しの質問を流す
よく来る質問をいくつか決めておき、取り込み後にチャットボットへ投げます。前回の回答と比べておかしな変化がないかを見ます。
記録を残す
いつ誰がどの文書を取り込んだかと確認結果を簡単な表に書きます。後で誤答が出たとき原因の文書を探す手がかりになります。
異常に気づく
利用者からの指摘や試しの質問で、回答がおかしいことに気づいたら受付時刻と質問内容を控えます。
該当文書を外す
回答の根拠になった文書を特定し、取り込み対象から一時的に外します。特定できないときは直近に更新した文書から疑います。
前の版に戻す
記録しておいた前回の正しい版を取り込み直し、同じ質問で回答が元に戻ったかを確かめます。
原因を確かめる
担当部署と一緒に誤りの原因を確認し、権限や手順を直す必要があれば運用ルールを更新します。
切り戻し(問題が出たとき前の正しい状態に戻すこと)は、前の版が手元に残っていないとできません。取り込んだ文書は版ごとに保存しておきましょう。NISTのAI RMFが示すように活用を続けながらリスクを抑えるには、止めて戻せる準備が土台になります。[2]
担当者一人で回すための仕組みづくり
IPAのガイドラインは第5章でリスクマトリクスに沿ったリスク管理手法を扱っています。リスクマトリクスは、起こりやすさと起きたときの影響の大きさで優先度を決める表です。これを使って取り込み文書を仕分けると、一人でも手が回ります。たとえば社外の取引先にも答える窓口案内や規程類は影響が大きいので毎回しっかり確認し、社内向けの雑多なメモは軽い確認で済ませる、といった強弱を付けます。[3]
- 文書を更新するたびに差分チェックと試しの質問を行う
- 月に一度は試しの質問をまとめて流し回答の変化を見る
- 期末などの節目に取り込み元フォルダの編集権限を棚卸しする
- 利用者が誤答を報告できる窓口をチャットボットの画面に書いておく
- 代理の人にも切り戻しの手順を一度は実際にやってもらう
同じガイドラインの第6章は、すでに生成AIの活用を始めた組織へのヒアリングから見えた課題と対応策をまとめています。自社だけで悩まず、他の組織がどこでつまずいたかを読んでおくと運用ルールの抜け漏れに気づきやすくなります。[3]
まとめ
- AIは渡された文書の正しさを自分では確かめられないので文書の管理が守りの中心になる
- 取り込む文書は出どころと担当部署を決め正式な保管場所からだけ入れる
- 取り込み元を編集できる人を絞り異動や退職のたびに権限を見直す
- 更新のたびに差分と試しの質問で確かめ前の版を残して切り戻せるようにする
- リスクマトリクスで文書に優先度を付け一人でも続けられる強弱を付ける
よくある質問
Qデータポイズニングとプロンプトインジェクションは同じものですか
A入口が違います。OWASPのTop 10 for LLM Applicationsにあるプロンプトインジェクションは、利用者の入力がAIの振る舞いを変えてしまう弱点です。この記事で扱った問題は、AIが参照する文書が誤りや改ざんで汚されることが入口です。どちらもAIに渡る情報がゆがむと回答がゆがむ点は共通なので、入力と文書の両方に目を配りましょう。[1]
Q小さな会社でもIPAのガイドラインは参考になりますか
A参考になります。IPAのテキスト生成AIの導入・運用ガイドラインは、導入・運用・リスク管理の担当者ごとに考慮事項を分けて説明しています。小さな会社では一人が全部を兼ねることが多いので、自分に関係する章を順に読むと抜けている作業が見つけやすくなります。内容はIPAの公式見解ではなくプロジェクトメンバーの見解に基づく点は押さえておきましょう。[3]
Qチャットボットの回答がおかしいと気づいたらまず何をすればよいですか
Aまず質問内容と回答を控え、回答の根拠になった文書を特定して取り込み対象から一時的に外します。次に保存しておいた前の版を取り込み直し、同じ質問で回答が戻るかを確かめます。原因の確認と再発防止はその後で十分です。止めて戻せる準備を先に整えておくことが、活用を続けながらリスクを抑える近道です。[2]
Q外部のAIサービスを使っていても社内で対策は必要ですか
A必要です。AIの部分を外部サービスに任せていても、何の文書を読み込ませるかを決めて管理するのは自社です。出どころの確認や編集権限の管理、更新時の差分チェックはサービスの種類にかかわらず社内の運用でしかできません。サービス側の機能で版の保存や取り込み履歴が使えるかも確かめておくと手順を組みやすくなります。
出典
- OWASP Top 10 for LLM Applications(OWASP Gen AI Security Project)
- AI Risk Management Framework(NIST)
- テキスト生成AIの導入・運用ガイドライン(IPA 独立行政法人 情報処理推進機構)