ChatGPTに質問したら、自信満々の答えが返ってきた。でもよく調べたら、事実と違っていた——これは故障でも例外でもなく、生成AIの仕様です。この現象はハルシネーション(もっともらしい誤り)と呼ばれ、AIを業務で使うなら全員が知っておくべき前提知識です。
この記事では、なぜAIは間違えるのかという仕組みの話を最小限で押さえたうえで、実務で間違いを見抜くチェックの習慣と、会社としてのルール化までを解説します。
なぜAIは堂々と間違えるのか
生成AIは、事実のデータベースを引いて答えているわけではありません。大量の文章から学んだパターンをもとに、「次に来そうな言葉」を予測してつなげている道具です。だから、文章としては自然なのに、中身の事実が間違っている、ということが構造的に起こります。
重要なのは、間違いを完全になくす方法はない、と理解することです。対策の主戦場は「AIを直す」ではなく「使う側の習慣」になります。
間違いが出やすい場所:疑うべき5点セット
ハルシネーションは、どこにでも均等に出るわけではありません。出やすい場所が決まっています。
- 固有名詞:会社名、人名、商品名、地名。実在しない名前が混ざります
- 数字:統計、価格、件数。それらしい数字を作ってきます
- 日付・時期:制度の開始時期、出来事の年。ずれていることがあります
- 法律・制度の内容:条文や要件の細部。古い情報と創作が混ざりがちです
- 出典・URL:存在しない記事や本を「参考文献」として挙げることすらあります
逆に、言い回しの調整や要約、アイデア出しのような「事実を含まない仕事」では、ハルシネーションの被害はほぼ出ません。危ないのは事実、安全なのは表現と覚えてください。
実務での見抜き方:3つの習慣
習慣1. 5点セットに印をつけてから使う
AIの出力を使う前に、固有名詞・数字・日付・制度・出典に下線を引きます(頭の中ででも構いません)。下線部だけは、元データや公式サイトと突き合わせてから使う。これだけで事故の大半は防げます。
習慣2. 「出典は?」と聞いても安心しない
AIに出典を尋ねると、それらしい出典が返ってきます。ただし、その出典自体が創作の場合があるため、出典の提示は安心材料になりません。確認は必ずAIの外——公式サイトや原典——で行います。制度や法律なら所管官庁のサイト、価格なら公式の料金ページが確認先です。
習慣3. 自社の事実は最初から自分が渡す
「うちの会社の強みを書いて」と聞けば、AIは知らないので創作します。自社の実績・サービス内容・価格は、必ず指示文の中で事実として渡し、「これ以外のことは書かない」と指定します。この書き方は指示文テンプレートの記事で型にしています。
会社としてのルール化:確認の責任を明確にする
個人の習慣だけに頼ると、忙しい日に飛ばされます。会社で使うなら、次の2行をルールに入れてください。
- AIの出力は下書きであり、使った人が内容に責任を持つ
- 固有名詞・数字・日付・制度・出典は、公式情報と突き合わせてから社外に出す
「AIがそう言ったので」は、社外に対しては通用しません。責任の所在を先に決めておくことが、安心して使わせるための土台になります。ルール1枚の作り方は利用ルール5項目の記事をどうぞ。
実践:チェックを仕組みにする手順
手順1. 5点セットを付箋にして貼る
「名前・数字・日付・制度・出典」。パソコンの縁に貼るだけの原始的な方法が、一番続きます。
手順2. 用途を「事実系」と「表現系」に分ける
自社のAI利用場面を、事実を含む仕事(案内文の制度説明など)と表現の仕事(言い換え・要約)に分け、事実系だけ二重チェックの対象にします。全部を疑うと疲れて続きません。
手順3. 間違い事例を社内で共有する
AIの間違いを見つけたら、隠さず「今日の捕獲例」として共有します。事例が貯まるほど、社内の目が肥えていきます。見つけた人を褒める空気が大事です。
ハルシネーション対策のチェックリスト
- 固有名詞・数字・日付・制度・出典の5点に印をつけたか
- 確認をAIの中ではなく、公式情報で行ったか
- 自社の事実を「これ以外書かない」で渡しているか
- 出力の責任は使った人、がルールになっているか
- 間違い事例を共有する場があるか
よくある質問
検索機能つきのAIなら間違えませんか?
ウェブ検索を組み合わせたAIは、最新情報の反映という点では改善しますが、検索結果の読み間違いや要約時の取り違えは残ります。「参照元のリンクを自分の目で確認する」習慣は、検索つきでも変わらず必要です。
間違いが怖いので、社内でAI禁止にすべきでしょうか?
禁止にすると、社員が個人のスマホで隠れて使う「野良AI」化して、かえって管理できなくなります。禁止よりも、「表現系は自由、事実系は二重チェック」という使い分けのルールを配るほうが、リスクは確実に下がります。
ハルシネーションはそのうち無くなりますか?
モデルの改善で頻度は下がってきていますが、仕組み上ゼロにはならない、というのが現時点での前提です。「いつか直る」を待つより、確認の習慣を身につけた会社から先に、安全に恩恵を受けられます。
要約を頼んだのに、元の文書にない内容が混ざります
要約は比較的安全な用途ですが、混入はあり得ます。指示文に「この文書に書かれていない内容は加えない」「不明な箇所は【要確認】と付ける」の2条件を入れると、混入がぐっと減り、残っても見つけやすくなります。
まとめ
AIの間違いは仕様であり、対策は使う側の習慣です。
- 危ないのは事実(名前・数字・日付・制度・出典)、安全なのは表現
- 確認はAIの外、公式情報で。AIが挙げる出典は安心材料にならない
- 自社の事実は自分が渡して「これ以外書かない」と指定する
- 「出力の責任は使った人」をルールにして、事例を共有する
小松のAI活用支援では、こうした確認の仕組みを含めた、安全に使うためのルールづくりをお手伝いしています。お気軽にご相談ください。