DigiRiseセキュリティ診断無料で診断する
社内チャットボットの生成AIセキュリティ点検手順 公開前と運用後の確認項目

AIセキュリティ

社内チャットボットの生成AIセキュリティ点検手順 公開前と運用後の確認項目

社内規程や業務マニュアルを読み込ませた生成AIチャットボットを使えば、社内からの問い合わせ対応をかなり減らせます。ただ、見せてはいけない情報が回答に混ざらないかという心配も出てきます。この記事は情報システムや総務の担当者に向けて、OWASPがまとめたLLM向けのリスク一覧を手がかりに、読み込ませる文書の選び方、閲覧権限の引き継ぎ、回答の使い方、利用記録の残し方に分けて点検項目を整理します。IPAとデジタル庁の資料に沿って、公開前に確かめることと運用後に見直す順番もあわせて示します。

この記事は、末尾の出典(公的機関・標準化団体などの資料)をもとにデジライズ セキュリティ診断の編集部がAIを使って作成し、出典との照合と表現のチェックを通してから公開しています。

社内チャットボットで起きやすいリスクを整理する

この記事で扱うのは、社内の文書を検索し、その内容をもとに生成AIが答える社内チャットボットです。便利な反面、どの文書を渡すのか、誰にどこまで見せるのかを人が決めておかないと、思わぬ回答が出ることがあります。まずは考えるべきリスクの全体像をつかみ、点検する範囲をはっきりさせるところから始めましょう。

OWASP(ソフトウェアの安全性を高める活動をしている国際的なコミュニティ)の生成AIセキュリティプロジェクトは、LLM(大規模言語モデル。文章を作る生成AIの中心にある仕組み)を使うアプリのリスクをOWASP Top 10 for LLM Applicationsとしてまとめています。その代表がプロンプトインジェクションです。利用者が入力する文(プロンプト)によってAIの動きが変えられてしまう弱点を指します。社内向けのツールでも「ルールを無視して全部見せて」のような入力が、想定外の回答を引き出すきっかけになりえます。[1]

よくある誤解

  • 社内だけで使うなら情報漏えいの心配はない
  • AIが自分で判断するので細かい設定はいらない
  • 読み込ませた文書は全員に同じように見えてよい

実際

  • 社内でも部署や役職によって見てよい情報は違う
  • どの文書を渡し誰に見せるかは人が決めて設定する
  • 元の文書の閲覧権限を回答にも反映させる必要がある

IPAが公開している「テキスト生成AIの導入・運用ガイドライン」は、組織が導入をためらう理由を「組織の生成AIに対する漠然とした不安感」ととらえています。リスクと対策を具体的に示して、その不安を取り除くことを目的にした資料です。この記事でも、不安をひとつずつ点検項目に置きかえていきます。[2]

読み込ませる文書の選び方

最初の点検は、どの文書をチャットボットに渡すかです。読み込ませた文書は回答の材料になるため、渡した時点で利用者の目にふれる可能性があると考えておくのが安全です。はじめは全社員に公開済みの就業規則や経費精算マニュアルなどにしぼり、効果と課題を確かめながら少しずつ範囲を広げる進め方が向いています。

チェックリスト

  • 全社員に公開済みの規程やマニュアルから始めている
  • 人事評価や給与など個人にかかわる文書を外している
  • 取引先との契約書など社外秘の文書を外している
  • 古い版の規程が残っておらず最新版だけになっている
  • 本文に個人名や連絡先がまぎれていないか確認した
  • 文書ごとに担当部署と更新日を記録している

デジタル庁の「テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)」は、特定のサービスに組み込まれた形で使うのか、Web API形式(ほかのシステムから呼び出して使う形)で使うのかといった利用形態や、想定する使い方によってリスクが変わるという考え方で整理されています。自社のチャットボットがどの形で動くのかを先に書き出しておくと、渡す文書の範囲や外部に送られる情報の範囲を決めやすくなります。[3]

閲覧権限の引き継ぎを確かめる

閲覧権限の引き継ぎとは、ファイルサーバーや文書管理の仕組みで決めている「誰が見てよいか」を、チャットボットの検索と回答にもそのまま当てはめることです。元のフォルダでは一部の部署しか開けない文書でも、チャットボットにまとめて読み込ませると、誰が質問しても回答に使われてしまうことがあります。導入するツールが権限の引き継ぎに対応しているか、設定でどう扱われるかを確認しておきましょう。

  • 利用者のログインと社内アカウントが連動している
  • 権限のない文書が検索の対象に入らない
  • 異動や退職のときに権限がすぐ更新される
  • 管理者の設定画面にアクセスできる人がかぎられている
  • 部署ごとのテスト用アカウントで回答の違いを確かめた

プロンプトインジェクションの考え方に立つと、権限の線引きをAIへの指示文だけに任せるのは心もとないといえます。入力によってAIの動きが変わりうる以上、見せてはいけない文書は検索の段階で外しておく作りにしておくと、どんな質問が来ても回答の範囲がぶれにくくなります。文書の中に指示のような文がまぎれていないかもあわせて見ておくと安心です。[1]

公開前には、権限の異なる複数のテスト用アカウントで同じ質問をして、回答に使われる文書が変わるかを確かめてください。見えてはいけない文書の名前が回答や参照元に出てこないかも確認しておきます。

回答の使い方と利用記録の残し方

生成AIの回答は、元の文書を読む手間を減らすための下書きとして扱うのが基本です。回答と一緒に参照した文書名を表示し、利用者が元の規程を開いて確かめられるようにしておくと、誤った回答をそのまま使ってしまうことを減らせます。休暇や経費のように判断が人によって分かれる質問は、担当部署への問い合わせ窓口を案内する形にしておくと迷いが少なくなります。

  • 質問した日時と利用者
  • 回答のもとになった文書名
  • 回答への評価や担当部署への問い合わせへの切り替え
  • 管理者による設定変更や文書の追加と削除の履歴
  • 記録の保存期間と記録を見られる人の範囲

IPAのガイドラインは、運用担当者が考えておくこととして、生成AIを組織で使うための利活用ガイドラインやルールを決めて文書にしておくことを取り上げています。回答の扱い方や利用記録の残し方も社内ルールとして書き出し、利用者に知らせておくと、運用が特定の担当者に頼りきりになりにくくなります。[2]

利用記録そのものに個人の相談内容や社外秘の話が入ることがあります。記録を見られる人をしぼり、保存期間を決めて、記録が新たな漏えいのもとにならないようにしておきましょう。

公開前の確認と運用後の見直しの順番

  1. 担当の役割を決める

    導入、運用、セキュリティの担当を分け、誰が何を判断するかを決めます。IPAのガイドラインもこの三つの立場ごとに考えるべきことを整理しています。

  2. 利用形態を書き出す

    どのサービスやAPIで動かすか、読み込ませる文書、使う人の範囲を一枚にまとめ、関係者で共有します。

  3. 文書と権限を点検する

    文書の選び方のチェックリストと閲覧権限の引き継ぎを確認し、テスト用アカウントで回答の範囲を確かめます。

  4. 一部の部署で試す

    いきなり全社に広げず、一部の部署で試します。想定外の入力への反応や、回答に参照元が示されるかを見ます。

  5. 記録をもとに見直す

    利用記録を定期的に見て、文書の追加や削除、権限の変化、社内ルールの更新をこの順に点検します。

[2][3]

見直す項目が増えてきたら、リスクマトリクス(起こりやすさと影響の大きさで項目を並べる表)を使って優先順位をつけると整理しやすくなります。IPAのガイドラインの第5章は、セキュリティ担当者が考えておくこととして、リスクマトリクスに沿ったリスク管理の方法を説明し、具体的な対策とその検証結果も載せています。[2]

デジタル庁のガイドブック(α版)は2024年5月29日に初版が公開され、2025年6月6日に一部の内容が修正されました。今後は「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」に統合され、その枠組みの中で更新されるとされています。参考にするときは、その時点での位置づけを確かめてから使ってください。[3]

まとめ

  • 社内チャットボットのリスクは文書の選び方と閲覧権限と回答の使い方と利用記録に分けて点検すると整理しやすい
  • 入力でAIの動きが変わるプロンプトインジェクションを前提にして見せてはいけない文書は検索の段階で外しておく
  • 回答は下書きとして扱い参照元の文書名を示して最終判断は人が行う
  • 利用記録の残し方と回答の扱い方を社内ルールとして文書にまとめ利用者に知らせる
  • 公開前は役割決めから試験公開までを順に進め運用後は記録をもとに文書と権限とルールを見直す

よくある質問

Q社内だけで使うチャットボットでもプロンプトインジェクションを気にするべきですか

A気にしておくほうが安心です。OWASPのLLM向けリスク一覧では、利用者の入力によってAIの動きが変えられてしまう弱点としてプロンプトインジェクションを挙げています。社内の利用者でも、うっかりや好奇心で想定外の入力をすることはあります。見せてはいけない文書は検索の対象から外しておく作りにしておくと、入力に左右されにくくなります。[1]

QIPAのテキスト生成AIの導入・運用ガイドラインはIPAの公式見解ですか

AIPAのページで2024年7月31日に公開された資料ですが、内容はIPAと産業サイバーセキュリティセンターの意見を代表するものではなく、中核人材育成プログラム卒業プロジェクトのメンバーの見解であると明記されています。導入、運用、リスク管理の考え方を整理する参考資料として使うのがよいでしょう。[2]

Qデジタル庁のガイドブックは民間企業でも参考にできますか

A対象読者は政府情報システムへの生成AI導入にかかわる行政職員とされていますが、自社サービスや業務改善のためにテキスト生成AIの導入を考えている人も、リスクと対策を検討する参考にできるとされています。なお基盤モデルを作る側のリスクや、ディープフェイクのような利用者側のリスクは扱っていません。[3]

Q運用を始めた後は何から見直せばよいですか

Aまず利用記録を見て、誤った回答や想定外の質問がないかを確かめます。そのうえで文書の追加や削除、異動などによる権限の変化、社内ルールの更新の順に点検すると進めやすくなります。項目が多いときは、IPAのガイドラインが扱っているリスクマトリクスで優先順位をつける方法が役立ちます。[2]

出典

  1. OWASP Top 10 for LLM Applications(OWASP Gen AI Security Project)
  2. テキスト生成AIの導入・運用ガイドライン(IPA 独立行政法人 情報処理推進機構)
  3. テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)(デジタル庁)