AIセキュリティ
AIエージェントの権限管理|渡す範囲と承認と記録の決め方
メールの下書きやファイルの整理を任せられるAIエージェントは便利ですが、実際にシステムを動かす分、どこまで任せるかを決めずに使い始めると不安が残ります。大切なのは高度な技術よりも、渡す権限の範囲と人が承認する操作と記録の残し方という三つの線引きを先に決めておくことです。この記事では中小〜中堅企業の情報システムや総務の担当者に向けて、それぞれの決め方と社内ルールへのまとめ方を順に整理します。
AIエージェントに権限管理が必要な理由
AIエージェントとは指示を受けて自分で手順を考えメールの送信やファイルの整理などの操作まで進めるAIの仕組みです。文章を返すだけの生成AIと違って実際にシステムを動かすため渡した権限の広さがそのまま影響の広さになります。
OWASPのGen AI Security Projectは大規模言語モデル(LLM:文章を生成するAIの中核技術)を使うアプリの主な弱点をまとめておりその一つとしてプロンプトインジェクションを挙げています。利用者の入力した指示によってAIのふるまいが変えられてしまう問題です。メールやファイルを読み込むエージェントでは読んだ内容に紛れた指示に引きずられる場面も考えられるため権限と承認と記録の三つで備えておくことが大切です。[1]
よくある誤解
- AIが賢ければ権限は広くても問題ない
- 管理者のアカウントで動かせば設定が楽でよい
- 記録はトラブルが起きてから考えればよい
実際
- 指示の取り違えや誤動作は起こりうるので権限は業務に必要な分に絞る
- 専用のアカウントを用意すると範囲の管理と追跡がしやすい
- 記録は導入前に決めておかないと後から調べられない
渡す権限の範囲は業務ごとに決める
まずどの業務を任せるかを一つずつ書き出し業務ごとに必要な操作を「読む・作る・送る・消す」に分けて考えます。たとえば問い合わせメールの下書き作成なら受信箱の読み取りと下書きの作成だけで足り送信や削除は要りません。このように必要な分だけ渡す考え方を最小権限と呼びます。
チェックリスト
- エージェント専用のアカウントを用意し個人のアカウントを共用していない
- 読める範囲を特定のフォルダや受信箱に限っている
- 送信や削除や共有設定の変更など戻しにくい操作を分けて扱っている
- 社外への送信や外部共有を許すかどうかを決めている
- 権限に有効期限や見直しの時期を設けている
- 不要になった権限を外す担当者を決めている
米国のNIST(国立標準技術研究所)はAIのリスク管理の枠組みとしてAI Risk Management Frameworkを公開しておりリスクを抑えながらAIへの信頼を育て活用を進めることを狙いとしています。権限を絞る作業は活用を止めるためではなく安心して任せられる範囲をはっきりさせるためのものだと説明すると社内の合意も得やすくなります。[2]
最初に広く渡して後から絞るよりも狭く始めて必要に応じて広げるほうが見直しの手間も誤動作の影響も小さく抑えやすくなります。
人が承認する操作の線の引き方
ここでいう承認とはエージェントが操作を実行する前に人が内容を確かめて許可する仕組みです。すべての操作に承認を求めると手間が増えて使われなくなるため取り消しにくさと影響の大きさを基準に線を引きます。
- 社外宛てのメール送信
- ファイルやメールの削除
- 共有リンクの作成や共有範囲の変更
- 多くの宛先への一斉送信
- 契約や請求や個人情報を含むファイルの操作
- エージェント自身の権限や設定の変更
操作を洗い出す
任せる業務ごとにエージェントが行う操作を一覧にします。読み取りだけの操作と書き込みや送信を伴う操作を分けておくと後の判断が楽になります。
影響で仕分ける
取り消せるか社外に出るか機密情報を含むかの三点で見て自動で実行してよい操作と承認が必要な操作に分けます。
承認者を決める
操作ごとに誰が承認するかを決め担当者が不在のときの代わりの人も決めておきます。
確認画面を整える
承認する人が宛先や本文や対象のファイルを見て判断できる表示にします。中身が見えない承認は形だけになりがちです。
実績を見て直す
承認の実績を振り返り毎回そのまま通している承認は減らし思わぬ操作が見つかれば承認の対象に加えます。
IPAが公開する「テキスト生成AIの導入・運用ガイドライン」では運用担当者向けの章で生成AIを使うための利活用ガイドラインやルールを策定し文書化することを扱っています。承認が必要な操作の一覧も口頭の取り決めにせず文書に残し利用者と承認者が同じ基準で判断できるようにしておきましょう。[3]
記録の残し方を導入前に決める
記録(ログ)はエージェントが何を受け取りどう判断し何を実行したかを後からたどるためのものです。問題が起きたときの原因調査だけでなく権限や承認の設定が適切かどうかを確かめる材料にもなります。
チェックリスト
- 誰がどんな指示を出したか
- エージェントが読んだメールやファイル
- 実行した操作と対象とその結果
- 承認した人と承認した日時
- 止められた操作やエラーの内容
- 権限や設定を変えた履歴
保存する期間と場所は社内の規程や扱う情報の重さに合わせて決めます。記録そのものに個人情報や機密情報が含まれることもあるため見られる人を限り書き換えられにくい場所に置くことも考えておきます。
OWASPが主な弱点の一つとして挙げるプロンプトインジェクションのように指示によってAIのふるまいが変わる問題は外から見ただけでは気づきにくいことがあります。受け取った指示と実行した内容を並べて確認できる形で残しておくと見直しの際に役立ちます。[1]
社内ルールにまとめて小さく始める
IPAのガイドラインは導入担当者と運用担当者とセキュリティ担当者という役割ごとに考慮事項を整理しておりリスク管理の章ではリスクマトリクス(起こりやすさと影響の大きさで危険度を整理する表)に沿った管理方法を紹介しています。エージェントの権限や承認の線引きもこの役割分担と表にあてはめると誰が何を決めるかが整理しやすくなります。[3]
試す業務を選ぶ
影響が小さく効果が見えやすい業務を一つ選んで始めます。社内向けの下書き作成などが候補になります。
権限と承認を文書化
必要最小限の権限と承認が必要な操作と承認者を一枚の文書にまとめ関係者で共有します。
記録を確かめる
試行中の記録を見て想定していない操作や読み取りがないかを担当者が確認します。
範囲を広げる
問題がなければ任せる業務や権限を少しずつ広げそのたびに文書も更新します。
このガイドラインは2024年7月31日に公開されたもので内容はIPAおよび産業サイバーセキュリティセンターの意見を代表するものではなく中核人材育成プログラム卒業プロジェクトメンバーの見解に基づくと明記されています。参考にするときはこの位置づけも踏まえておきましょう。[3]
まとめ
- AIエージェントに渡す権限は業務ごとに必要な操作だけに絞る
- 社外への送信や削除など取り消しにくい操作には人の承認を挟む
- 指示と実行内容と承認を後からたどれる形で記録する
- 決めたルールは文書にまとめ試行の結果を見ながら見直す
よくある質問
Q社内向けの作業だけなら承認の仕組みは要りませんか?
A社内だけの作業でもファイルの削除や共有範囲の変更は影響が大きく元に戻しにくいことがあります。社外に出るかどうかだけでなく取り消せるかどうかや機密情報を含むかどうかも合わせて見て承認が必要な操作を決めるのがおすすめです。
Qプロンプトインジェクションとは何ですか?
A利用者が入力した指示によってAIのふるまいが意図しない形に変えられてしまう問題で、OWASPがLLMを使うアプリの主な弱点の一つとして挙げています。メールやファイルを読むエージェントでは権限を絞り重要な操作に承認を挟み記録を残すことで影響を抑えやすくなります。[1]
Qルールづくりで参考にできる公的な資料はありますか?
AIPAのページで公開されている「テキスト生成AIの導入・運用ガイドライン」は導入や運用やリスク管理の考慮事項を役割ごとに整理しています。ただし卒業プロジェクトメンバーの見解に基づく資料とされています。米国NISTのAI Risk Management Frameworkもリスクを抑えながら活用を進める枠組みとして参考になります。[3][2]
Q権限の見直しはいつ行えばよいですか?
A任せる業務を増やすときや担当者が変わるときは見直しのよい機会です。それに加えて定期的に見直す時期を社内で決めておき記録を見ながら使われていない権限を外し承認の対象が適切かを確かめると運用を続けやすくなります。
出典
- OWASP Top 10 for LLM Applications(OWASP Gen AI Security Project)
- AI Risk Management Framework(NIST)
- テキスト生成AIの導入・運用ガイドライン(IPA 独立行政法人 情報処理推進機構)