DigiRiseセキュリティ診断無料で診断する
生成AIのコード生成とセキュリティ 公開前に確認する脆弱性と社内ルール

AIセキュリティ

生成AIのコード生成とセキュリティ 公開前に確認する脆弱性と社内ルール

社内の業務改善で生成AIにスクリプトやWebフォームのコードを書かせる場面が増えています。指示どおりに動くコードがすぐ手に入る反面、入力値の検証漏れやSQLインジェクションのような弱点が入り込むことがあります。この記事ではAIの出力をそのまま本番に入れたときのリスクを整理します。そのうえで公開前に確認する脆弱性の観点とレビューの担い手、利用ルールへの書き込み方を、プログラムを書かない担当者でも回せる手順としてまとめます。難しい技術の話に入る前に、まず何を決めればよいかが分かる構成にしています。

この記事は、末尾の出典(公的機関・標準化団体などの資料)をもとにデジライズ セキュリティ診断の編集部がAIを使って作成し、出典との照合と表現のチェックを通してから公開しています。

生成AIが書いたコードをそのまま本番に入れるリスク

社内の申請フォームや集計用のスクリプトを生成AIに頼むと、短い時間で動く形になります。ただし動くことと安全であることは別の話です。たとえば入力欄に想定外の文字列が入ったときの扱いが抜けていると、SQLインジェクション(入力値を通じてデータベースへの命令を不正に操作される弱点)につながるおそれがあります。IPAの「安全なウェブサイトの作り方」でも、SQLインジェクションは最初に取り上げられている脆弱性です。[2]

よくある誤解

  • 動作確認ができたので公開して問題ない
  • AIは頼まなくても安全な書き方を選んでくれる
  • 社内向けのフォームなので攻撃されない
  • 小さなスクリプトならレビューは要らない

実際

  • 動作確認は正しい入力しか試していないことが多い
  • 指示に安全面の条件がなければ考慮されないことがある
  • 社内向けでも誤入力や内部の不正で情報が漏れることがある
  • 規模が小さくても個人情報や業務データに触れるなら確認が要る

生成AIの業務利用については、デジタル庁がリスクと対策をまとめたガイドブック(α版)を公開しています。行政職員以外でも、業務改善のためにテキスト生成AIの導入を検討する人の参考資料として使えるとされています。漠然とした不安を感じたら、こうした公的な資料を足がかりにリスクを書き出すところから始めると進めやすくなります。[3]

公開前に確認したい脆弱性の観点

確認の観点を自分たちでゼロから考える必要はありません。IPAの「安全なウェブサイトの作り方」は、届出を受けた脆弱性関連情報をもとに、届出件数の多いものや攻撃されたときの影響が大きいものを取り上げた資料です。改訂第7版の第1章では11種類の脆弱性について、起こりうる脅威と、原因そのものをなくす根本的な解決策、影響を小さくする保険的な対策を示しています。[2]

  • SQLインジェクション:入力値がそのままデータベースへの命令に組み込まれていないか
  • OSコマンド・インジェクション:入力値からサーバ上の命令が実行されてしまわないか
  • ディレクトリ・トラバーサル:ファイル名の指定で想定外のファイルを読まれないか
  • クロスサイト・スクリプティング:入力内容がそのまま画面に表示され不正なスクリプトが動かないか
  • CSRF:利用者が意図しない送信を外部のページから起こされないか
  • メールヘッダ・インジェクション:問い合わせフォームのメール送信で宛先などを書き換えられないか
  • アクセス制御や認可制御の欠落:権限のない人が他人のデータを見たり変えたりできないか
[2]

同資料では脆弱性の項番は対策の優先順位を示すものではなく、運営するサイトの状況に合わせて優先順位を検討するよう書かれています。自社のフォームが何を受け付け、どこにデータを渡すかを見て、関係する観点から確認しましょう。[2]

フォームの中から生成AIそのものを呼び出す仕組みを作る場合は、別の観点も加わります。OWASPのLLMアプリケーション向けTop 10では、利用者の入力によってAIの振る舞いが変えられてしまうプロンプトインジェクションを脆弱性として挙げています。AIを組み込む仕組みは、通常のフォームより慎重に扱う前提で計画してください。[1]

プログラムを書かない担当者でも回せる確認手順

自分でコードを読めなくても、確認の流れと記録の形を決めておけば担当者は進行役を務められます。土台として使いやすいのが、IPAの「安全なウェブサイトの作り方」の巻末に付いているセキュリティ実装のチェックリストです。実装の実施状況を確かめるためのもので、Excel形式でも配布されています。[2]

  1. 用途と扱うデータを書く

    何のためのコードか、どんな入力を受け付けるか、個人情報や社外秘のデータに触れるかを一枚にまとめます。これでレビューの深さを決めやすくなります。

  2. AIに安全面の条件を伝える

    生成の指示に入力値の検証やSQLの安全な呼び出し方などの条件を含めます。どこでどう対策したかの説明もAIに書かせて記録に添えます。

  3. チェックリストで確認する

    IPAのセキュリティ実装チェックリストを使い、該当する観点ごとの対応状況をレビュー担当者に記入してもらいます。

  4. 想定外の入力を試す

    空欄や極端に長い文字列、記号を含む文字列を入れて、エラーの出方や画面表示が崩れないかを本番とは別の検証環境で確かめます。

  5. 記録を残して公開する

    誰がいつ何を確認したか、残った課題は何かを記録し、承認者の許可を得てから本番に入れます。

[2]

チェックリスト

  • コードの用途と扱うデータが文書になっている
  • 入力欄ごとに受け付ける値の種類と長さが決まっている
  • データベースを使う場合はSQLの組み立て方を確認した
  • 入力内容を画面やメールに出す箇所を確認した
  • 権限が必要な画面で他人のデータが見えないことを確かめた
  • パスワードを扱う場合は保存や取り扱いの方法を確認した
  • レビュー担当者と承認者の名前が記録されている
[2]

IPAの別冊「ウェブ健康診断仕様」には、危険度の高い脆弱性など13の診断項目と判定基準が載っています。ただし検査パターンを絞った診断なので、脆弱性が見つからなくても安全の宣言にはならないと明記されています。結果を見たあとは、より詳しい診断や対策の実装につなげることが勧められています。[2]

レビューを担当する人と役割分担

誰が何を見るかを先に決めておくと、確認が属人的になりません。IPAの「テキスト生成AIの導入・運用ガイドライン」は、導入担当者と運用担当者とセキュリティ担当者という立場ごとに考慮事項を整理しています。なお同書は、IPAの公式な意見ではなく人材育成プログラムを修了したプロジェクトメンバーの見解に基づくと明記されています。[4]

  • 依頼者(現場の担当者):用途と扱うデータを説明し想定外の入力のテストに協力する
  • 進行役(情報システムや総務の担当者):手順とチェックリストを回し記録を保管する
  • 技術レビュー担当:コードを読める社内の人か外部の開発会社や診断サービスが観点ごとに確認する
  • 承認者:残った課題を受け入れるかを判断し公開を許可する

社内にコードを読める人がいない場合は、外部に頼む範囲をあらかじめ決めておきます。デジタル庁のガイドブックは、サービスに組み込まれた形やWeb API形式といった利用形態やユースケースによって想定されるリスクが変わるとしています。社外の人が使うフォームや個人情報を扱う仕組みは外部の確認を入れ、社内だけで使う集計スクリプトは社内の確認で済ませるなど、重要度で深さを分けると無理なく回せます。[3]

コードを書いたAIにそのままレビューまで任せるのは避けましょう。AIに説明を書かせるのは記録として役立ちますが、確認の判断と承認は人が受け持つ形にしておくと責任の所在がはっきりします。

生成AIの利用ルールへの書き込み方

手順と担当が決まったら、生成AIの利用ルールに書き込んで定着させます。IPAのガイドラインは、運用担当者の考慮事項として利活用ガイドラインやルールの策定と文書化を扱っています。セキュリティ担当者向けには、リスクマトリクス(起こりやすさと影響の大きさでリスクを並べて整理する表)に沿った管理の方法も紹介しています。[4]

チェックリスト

  • AIに書かせてよいコードの範囲と禁止する用途
  • 生成の指示に社外秘や個人情報を入れないこと
  • 本番に入れる前のレビュー手順と担当者
  • 公開前チェックリストの置き場所と記録の保存先
  • 社外に公開するフォームは技術レビューや診断を受けること
  • 公開後に不具合や脆弱性が見つかったときの連絡先と対応の流れ
  • ルールの見直し時期と改訂の責任者

ルールの中で参照する資料は、更新されることを前提に扱います。デジタル庁のガイドブックは、今後「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」へ統合され、その枠組みの中で更新されると案内されています。ルールには参照元の資料名を書き、見直しのたびに最新の内容を確認する運用にしておくと安心です。[3]

まとめ

  • 生成AIが書いたコードは動いても安全とは限らないため公開前の確認を前提にする
  • 確認の観点は公的な資料の脆弱性の整理とチェックリストを土台にする
  • コードを読めない担当者は用途の整理と進行と記録を受け持つ
  • 技術的な確認は観点を決めてコードを読める人や外部に依頼する
  • 利用ルールに範囲と手順と担当者と見直し時期を書き込んで定着させる

よくある質問

QAIに安全なコードで書いてと頼めば確認は要りませんか

A指示に入力値の検証などの条件を入れるのは有効ですが、それだけで弱点がなくなるとは言えません。どこで対策したかの説明をAIに書かせたうえで、IPAのセキュリティ実装チェックリストなどを使って人が確認し、記録を残してから公開する流れにしましょう。[2]

Q社内にプログラムを読める人がいない場合はどうすればよいですか

A担当者は用途の整理とチェックリストの進行と記録を受け持ち、技術的な確認は外部に依頼する形が現実的です。IPAのウェブ健康診断仕様は13の診断項目に絞った診断で、検出されなくても安全の宣言にはならないとされているため、重要なフォームは詳しい診断も検討してください。[2]

Q利用ルールを作るときに参考になる資料はありますか

AIPAの「テキスト生成AIの導入・運用ガイドライン」は導入や運用やセキュリティの担当者ごとに考慮事項を整理しています。デジタル庁のガイドブック(α版)も、業務改善で導入を検討する企業の参考になるとされています。両方の考え方を自社の規模に合わせて取り入れるとよいでしょう。[4][3]

QSQLインジェクションの対策をもう少し詳しく知るには

AIPAの別冊「安全なSQLの呼び出し方」が参考になります。SQLインジェクションが起きる原因やSQL文の組み立て方、安全な呼び出しに必要なことを説明し、5種類のプログラミング言語とデータベースの組み合わせで安全な書き方を解説しています。技術レビュー担当に共有すると話が早く進みます。[2]

出典

  1. OWASP Top 10 for LLM Applications(OWASP Gen AI Security Project)
  2. 安全なウェブサイトの作り方(IPA 独立行政法人 情報処理推進機構)
  3. テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)(デジタル庁)
  4. テキスト生成AIの導入・運用ガイドライン(IPA 独立行政法人 情報処理推進機構)