DigiRiseセキュリティ診断無料で診断する
生成AIのハルシネーション対策 誤りを業務に持ち込まない確認手順

AIセキュリティ

生成AIのハルシネーション対策 誤りを業務に持ち込まない確認手順

生成AIは文章をすばやく作れる一方で、事実と違う内容をもっともらしく答えることがあります。これをハルシネーションと呼びます。困るのは誤りそのものより、確認されないまま社外向けの文書や社内の判断に入り込むことです。この記事では、デジタル庁とIPAが公開している生成AIの資料を手がかりに、用途ごとに許容できる範囲の決め方、人が確認する手順、出典を照合するやり方を整理します。最後に、社員がすぐ実践できる「AIの回答を鵜呑みにしない」習慣を、小さな組織でも回せる形でまとめます。

この記事は、末尾の出典(公的機関・標準化団体などの資料)をもとにデジライズ セキュリティ診断の編集部がAIを使って作成し、出典との照合と表現のチェックを通してから公開しています。

ハルシネーションとは何か 業務で困る場面

ハルシネーションとは、生成AIが事実と異なる内容や存在しない情報を、正しそうな文章で出力してしまう現象です。生成AIは学習した文章のパターンから続きを予測して文章を作る仕組みで、出力の正しさを自分で保証するものではありません。そのため数字や固有名詞、制度の説明、引用元の表記など、ぱっと見では誤りに気付きにくい部分に紛れ込みやすい点に注意が必要です。

業務で問題になるのは、誤りがそのまま社外に出たり判断の根拠になったりする場面です。たとえば取引先への案内文に誤った制度の説明が入る、社内稟議の資料に確かめていない数字が載る、問い合わせへの回答で事実と違う内容を伝えてしまうといったケースです。どれも生成AIを使ったこと自体より、確認の工程が抜けていたことが原因といえます。

よくある誤解

  • 有名な生成AIなら誤りはほとんど出ない
  • 出典が付いていれば内容も正しい
  • 詳しい人が使えば確認は要らない
  • 誤りが怖いなら使わないのが一番

実際

  • どの生成AIでも誤りは起こりうるので確認の工程で受け止める
  • 出典そのものが誤っていたり本文と合っていなかったりする
  • 自然な文章ほど詳しい人でも見落とすので手順で確かめる
  • 用途を絞り確認を組み込めば効率化の効果は得られる

デジタル庁のガイドブックは、テキスト生成AIのリスクは利用形態やユースケースによって変わるという立場で整理されています。社内の下書きに使う場合と社外への回答に使う場合とでは、誤りが与える影響の大きさが違います。ハルシネーション対策も一律のルールではなく、用途ごとに考えるのが出発点です。[1]

デジタル庁とIPAの資料から読み取る考え方

デジタル庁は「テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)」を公開しています。初版の公開は2024年5月29日で、2025年6月6日に一部内容が修正されました。今後は「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」に統合され、その枠組みの中で更新されると案内されています。主な読者は政府情報システムに生成AIを導入する行政職員ですが、自社サービスや業務改善のためにテキスト生成AIの導入を検討している人も、リスクと対策を考える参考にできるとされています。[1]

このガイドブックが画像や音声ではなくテキスト生成AIに絞っている理由は、実際の業務でやりとりする情報の多くがテキストだからと説明されています。また利用形態やユースケースの違いを意識し、工程ごとにリスクや留意点を挙げているのが特徴です。中小企業にとっては、どの業務のどの段階で確認を入れるかを考えるヒントになります。[1]

IPAのページでは「テキスト生成AIの導入・運用ガイドライン」が2024年7月31日に公開されています。導入担当者と運用担当者とセキュリティ担当者の考慮事項を章ごとに扱っており、運用の章では利活用ガイドラインやルールの策定と文書化を、リスク管理の章ではリスクマトリクスに沿った管理手法を取り上げています。なお内容はIPAや産業サイバーセキュリティセンターの意見を代表するものではなく、中核人材育成プログラム卒業プロジェクトメンバーの見解に基づくと注記されています。[2]

海外ではNISTがAI Risk Management Frameworkを公開しており、リスクを抑えながらAIへの信頼を育てて技術の活用を後押しすることを目指すと説明しています。誤りを恐れて使わないのではなく、リスクを管理しながら使うという考え方です。この記事もその方向で整理します。[3]

用途ごとに許容できる範囲を線引きする

IPAのガイドラインはリスクマトリクスに沿ったリスク管理を扱っています。ここではその発想を借りて、誤りが起きたときの影響の大きさと、誤りに気付ける機会の多さという二つの軸で用途を分けてみます。影響が大きく気付きにくい用途ほど、確認を厚くするという考え方です。[2]

  • 区分A 自由に使ってよい用途:アイデア出しや言い回しの候補づくり、自分用メモの要約など。誤りがあっても本人がその場で気付きやすく外に出ない
  • 区分B 確認してから使う用途:社内向け資料や会議資料のたたき台、マニュアルの下書きなど。事実や数字は作成者が出典で照合する
  • 区分C 二人で確認する用途:取引先や顧客への文書、ウェブサイトの掲載文、問い合わせへの回答など。作成者とは別の人が照合する
  • 区分D 生成AIの出力を根拠にしない用途:契約や法令の解釈、見積もりの確定、人事評価など。生成AIは論点の整理にとどめ一次情報と専門家で判断する

区分は細かく作りすぎると守られなくなります。まずはこのくらいの粗さで決め、迷う用途が出てきたら確認が厚い側の区分に寄せるというルールにしておくと運用が楽になります。

チェックリスト

  • 出力が社外の人の目に触れるか
  • 内容が契約や取引条件や人の評価に関わるか
  • 誤りが見つかったときに訂正や取り消しが簡単か
  • 数字や固有名詞や制度の説明を含むか
  • 作成者がその分野の一次情報にあたれるか
  • 過去に同じ用途で誤りが見つかったことがあるか

人が確認する手順と出典を照合する方法

デジタル庁のガイドブックが工程ごとにリスクや留意点を整理しているように、確認も気付いた人が気付いたときにやるものではなく、業務の流れに組み込むのが効果的です。区分BとCの用途では次の流れを基本にします。[1]

  1. 用途の区分を確認

    作成を始める前に、その文書がどの区分に当たるかを決める。区分Dなら生成AIの出力は論点の整理にとどめる。

  2. 事実の部分に印を付ける

    出力のうち数字や日付、固有名詞、制度や仕様の説明、引用の部分に印を付け、照合する対象を目に見える形にする。

  3. 一次情報で照合する

    印を付けた部分を公的機関の原文や製品の公式資料などで確かめる。根拠が見つからない記述は削るか書き換える。

  4. 別の人が読む

    区分Cでは作成者以外が照合済みの箇所と出典を見比べる。文章の自然さではなく根拠があるかどうかを見る。

  5. 記録を残す

    照合に使った出典と確認者を文書の管理欄などに残す。誤りが見つかった場合はその例をチームで共有する。

チェックリスト

  • 生成AIが示した出典を実際に開き該当する記述があるかを見た
  • 出典は発行元がはっきりした一次情報か
  • 出典の公開日や更新日を確かめ古い情報でないかを見た
  • 数字や日付は単位や年の表記まで一致しているか
  • 生成AIの要約が原文の条件や例外を落としていないか
  • 根拠が見つからない記述を削るか書き換えた

出典の日付を確かめるのは、公的な資料も更新されるからです。たとえばデジタル庁のガイドブックは初版の公開後に誤記の修正や一部内容の修正が重ねられ、今後は別のガイドラインに統合されると案内されています。生成AIが古い版の内容をもとに答えている可能性を前提に、最新の公開ページで確認しましょう。[1]

鵜呑みにしない習慣を社内に根付かせる

IPAのガイドラインは運用担当者の考慮事項として、利活用のガイドラインやルールを策定し文書化することを扱っています。中小企業では分厚い規程を作るより、一枚に収まる利用ルールを先に作り、全員が読める場所に置くほうが続けやすいでしょう。用途の区分と確認の手順、困ったときの相談先をまとめておけば出発点として十分です。[2]

チェックリスト

  • 生成AIの回答はまず下書きとして受け取る
  • 数字と固有名詞と制度の説明は自分で原文にあたる
  • 出典のない回答はそのまま使わない
  • もっともらしい文章ほど一度立ち止まって読み直す
  • 社外に出す文書は別の人に見てもらう
  • 誤りに気付いたらチームに共有する
  • 機密情報や個人情報は入力しない
  • 利用ルールを一枚にまとめて全員に周知する
  • 短い研修で実際に起きた誤りの例を見せる
  • 誤りが見つかった事例を責めずに集める
  • 集まった事例をもとに用途の区分や確認手順を見直す

IPAのガイドラインには、既に生成AIを活用している組織へのヒアリングから課題と対応策を整理した章もあります。ほかの組織の経験を読むと、自社で起こりそうなつまずきを先回りして考えられます。ルールは一度作って終わりにせず、現場の声で少しずつ育てていく姿勢が大切です。[2]

まとめ

  • ハルシネーションは起こりうる前提で確認の工程を業務の流れに組み込む
  • 誤りの影響の大きさに応じて用途を区分し社外文書や重要な判断ほど確認を厚くする
  • 数字や固有名詞や制度の説明は一次情報で照合し出典と確認者を記録に残す
  • 一枚の利用ルールと鵜呑みにしない習慣を周知し集まった事例をもとに見直す

よくある質問

Q出典を示してくれる生成AIなら確認は不要ですか

A不要にはなりません。示された出典が存在しない、本文と内容が合っていない、古い版を参照しているといったことが起こりえます。出典が付いている場合も実際に開いて該当する記述を確かめ、公開日や更新日も見てください。出典は照合の手間を減らす手がかりと考えるのが現実的です。

Qデジタル庁のガイドブックは行政向けですが企業でも参考になりますか

A主な読者は政府情報システムに生成AIを導入する行政職員とされていますが、自社サービスや業務改善のためにテキスト生成AIの導入を検討している人もリスクと対策の参考にできると案内されています。利用形態やユースケースごとにリスクを考える視点は、企業で用途の区分を作るときにも役立ちます。[1]

QIPAのガイドラインはIPAの公式見解ですか

Aページ上の注意書きでは、内容はIPAおよび産業サイバーセキュリティセンターの意見を代表するものではなく、中核人材育成プログラム卒業プロジェクトメンバーの見解に基づくとされています。導入や運用やリスク管理の考え方を整理した参考資料として位置づけ、自社の状況に合わせて取り入れるとよいでしょう。[2]

Q少人数の会社で二人での確認が難しい場合はどうすればよいですか

A社外に出す文書だけでも別の人に見てもらうのが望ましいですが、難しい場合は時間を置いて作成者自身が照合し直す、照合した出典を文書に残して後から誰でも確かめられるようにするといった工夫が考えられます。契約や法令の解釈などの判断は生成AIの出力を根拠にせず、一次情報や専門家の確認を優先してください。

出典

  1. テキスト生成AI利活用におけるリスクへの対策ガイドブック(α版)(デジタル庁)
  2. テキスト生成AIの導入・運用ガイドライン(IPA 独立行政法人 情報処理推進機構)
  3. AI Risk Management Framework(NIST)