「AIに聞いたら、それらしい答えが返ってきた。だからそのまま資料に使った」――
この“だから”が、いま一番あぶないところです。
生成AIは、知らないことでも、もっともらしく、自信満々に答えてしまうことがあります。
これを ハルシネーション(hallucination=もっともらしい作り話) と呼びます。
今日はこの「AIの嘘」と、中小企業がどう付き合えばいいかを、出典つきで整理します。
なぜAIは嘘をつくのか(これは“故障”ではありません)
まず大事な前提です。ハルシネーションはバグや故障ではなく、AIの仕組みそのものから来る副作用です。
生成AIは、巨大な事典を引いて答えているわけではありません。
「次に来そうな言葉」を確率で選び、自然な文章をつくることに最適化されています。
だから、答えを知らないときも黙らず、“それっぽい続き”で空欄を埋めてしまうのです。
ここがやっかいなところで、見た目の自信と、内容の正しさは関係ありません。
流暢で、断定的で、出典まで添えてあっても、その出典ごと作り話、ということが起こります。
しかも、最良のAIでもゼロにはなりません。
AIの“作り話の多さ”を測る代表的な指標に、Vectara社の「ハルシネーション・リーダーボード」があります。
これは「元の文書を要約させたとき、元に書いていないことをどれだけ足すか」を測るものですが、
法務・医療・金融で実際に出るような長くて複雑な文書になると、トップクラスのAIでも数%、
一部のモデルは1割を超えて“盛って”しまう、という結果が報告されています。
(モデル別の正確な数値はバージョンや調査でかなり変わるため、ここでは数字そのものより
「ゼロにはならない/難しい文書ほど増える」という方向性を覚えてください。)
「もっともらしいから正しい」と思った結果、何が起きたか
「とはいえ、そんなに困ることある?」と思うかもしれません。
すでに現実の事故になっています。代表的なのが、法廷での“偽判例”問題です。
アメリカでは、生成AIが作り出した実在しない判例を、弁護士が裏取りせずに裁判所へ提出し、
制裁を受ける事例が相次いでいます。
よく知られた Mata v. Avianca(2023年・米ニューヨーク連邦地裁) では、
弁護士がAIの示した6件の架空の判例を引用し、約5,000ドルの制裁を受けました。
これは一度きりの珍事ではありません。
HEC Parisの研究者が運営する「AIハルシネーション事例」データベースには、
2025年時点で世界480件超(うち米国の裁判所だけで300件超) が記録され、
報道では発生ペースが週に数件から、1日に数件へと加速したとされています。
注目したいのは、これは“法律家だけの話”ではない、ということです。
「もっともらしいから正しいと思い込み、確認せずに外へ出した」――
この構図は、見積書・契約書・営業資料・社内マニュアルなど、どんな業務でも同じように起こります。
専門家でも引っかかるのですから、「うちは大丈夫」と考えるほうが危ないのです。
中小企業の現実解 ── 撲滅ではなく「前提にして使う」4つ
ハルシネーションはゼロにできません。だから目標は“撲滅”ではなく、“前提にして安全に使う”ことです。
お金も専門チームも要らない、今日からできる4つを挙げます。
① 重要な事実は、必ず一次ソースで裏取りする
数字・固有名詞・日付・法令・引用――ここだけは、AIの答えを「下書き」として扱ってください。
元の資料(公式サイト・原典・社内データ)で確認してから、はじめて外に出す。
全部を疑う必要はありません。「間違えたら命取りになる部分」だけ確認すれば十分です。
② AIに“自社の正しい資料”を渡して、その中から答えさせる
AIの一般知識だけで答えさせると、作り話が混ざりやすくなります。
そこで、正しい資料(社内マニュアル、商品仕様、議事録など)を貼り付けて、
「この中から、出典を示して答えて。書いていなければ『分からない』と言って」 と指示します。
専門的には「グラウンディング(根拠づけ)」や「RAG」と呼ばれる考え方ですが、
中小企業はこの一言を足すだけでも、的外れな作り話をぐっと減らせます。
(ガートナーも、2026年までに企業の生成AI活用の多くが、誤りを抑えるため
自社データに根拠づける仕組みを必要とすると予測しています=報道ベース。)
③ 用途を選ぶ(得意なことだけ任せる)
ブレスト、要約、メールやたたき台づくりは、AIがとても得意です。
一方で、正確さが命取りになる用途(対外文書・数字・契約・法務)は、人が最終確認する。
「どこまで任せるか」は前回の記事のテーマでもありました。あわせてどうぞ。
④ 「自信」を信用しないルールを1行つくる
最後はチーム全体の習慣です。AIの答えに対して、「出典は?その数字の元は?」と必ず聞く。
そして出典を出せない主張は採用しない。
このシンプルな一文を社内のAI利用ルールに入れるだけで、事故の多くは防げます。
まとめ ── AIは“優秀だが、たまに自信たっぷりに間違える新人”
ハルシネーションは、AIが使えないという話ではありません。
AIは桁違いに速くて優秀な新人です。ただし、たまに自信満々に間違える新人でもあります。
ですから、付き合い方は人間の新人と同じ。
任せる、でも大事なところは確認する。 これだけです。
「AIが言ったから」で外に出さない――この一線さえ守れば、AIは安心して頼れる戦力になります。
あわせて読みたい
参考
- Vectara, Hughes Hallucination Evaluation Leaderboard(HHEM)
- Vectara Blog, 次世代ハルシネーション・リーダーボードの紹介
- Legal Dive, ChatGPTの架空判例引用(Mata v. Avianca)
- CalMatters, 弁護士のChatGPT利用と制裁・件数データベース
- LawSites, AIハルシネーション制裁の続報
- Squirro, RAG in 2026(Gartner予測に言及)
本記事は複数の公開情報をもとに作成しています。数値は調査・時点により幅があるため、傾向としてお読みください。
この記事はAIが作成し、人が内容を確認して公開しています。



コメント