AIは平気で「嘘」をつく ── ハルシネーションと、答えを信じる前にやる4つのこと

AIニュース

「AIに聞いたら、それらしい答えが返ってきた。だからそのまま資料に使った」――
この“だから”が、いま一番あぶないところです。

生成AIは、知らないことでも、もっともらしく、自信満々に答えてしまうことがあります。
これを ハルシネーション(hallucination=もっともらしい作り話) と呼びます。
今日はこの「AIの嘘」と、中小企業がどう付き合えばいいかを、出典つきで整理します。

なぜAIは嘘をつくのか(これは“故障”ではありません)

まず大事な前提です。ハルシネーションはバグや故障ではなく、AIの仕組みそのものから来る副作用です。

生成AIは、巨大な事典を引いて答えているわけではありません。
「次に来そうな言葉」を確率で選び、自然な文章をつくることに最適化されています。
だから、答えを知らないときも黙らず、“それっぽい続き”で空欄を埋めてしまうのです。

ここがやっかいなところで、見た目の自信と、内容の正しさは関係ありません。
流暢で、断定的で、出典まで添えてあっても、その出典ごと作り話、ということが起こります。

しかも、最良のAIでもゼロにはなりません。
AIの“作り話の多さ”を測る代表的な指標に、Vectara社の「ハルシネーション・リーダーボード」があります。
これは「元の文書を要約させたとき、元に書いていないことをどれだけ足すか」を測るものですが、
法務・医療・金融で実際に出るような長くて複雑な文書になると、トップクラスのAIでも数%、
一部のモデルは1割を超えて“盛って”しまう、という結果が報告されています。
(モデル別の正確な数値はバージョンや調査でかなり変わるため、ここでは数字そのものより
ゼロにはならない/難しい文書ほど増える」という方向性を覚えてください。)

「もっともらしいから正しい」と思った結果、何が起きたか

「とはいえ、そんなに困ることある?」と思うかもしれません。
すでに現実の事故になっています。代表的なのが、法廷での“偽判例”問題です。

アメリカでは、生成AIが作り出した実在しない判例を、弁護士が裏取りせずに裁判所へ提出し、
制裁を受ける事例が相次いでいます。
よく知られた Mata v. Avianca(2023年・米ニューヨーク連邦地裁) では、
弁護士がAIの示した6件の架空の判例を引用し、約5,000ドルの制裁を受けました。

これは一度きりの珍事ではありません。
HEC Parisの研究者が運営する「AIハルシネーション事例」データベースには、
2025年時点で世界480件超(うち米国の裁判所だけで300件超) が記録され、
報道では発生ペースが週に数件から、1日に数件へと加速したとされています。

注目したいのは、これは“法律家だけの話”ではない、ということです。
「もっともらしいから正しいと思い込み、確認せずに外へ出した」――
この構図は、見積書・契約書・営業資料・社内マニュアルなど、どんな業務でも同じように起こります。
専門家でも引っかかるのですから、「うちは大丈夫」と考えるほうが危ないのです。

中小企業の現実解 ── 撲滅ではなく「前提にして使う」4つ

ハルシネーションはゼロにできません。だから目標は“撲滅”ではなく、“前提にして安全に使う”ことです。
お金も専門チームも要らない、今日からできる4つを挙げます。

① 重要な事実は、必ず一次ソースで裏取りする

数字・固有名詞・日付・法令・引用――ここだけは、AIの答えを「下書き」として扱ってください。
元の資料(公式サイト・原典・社内データ)で確認してから、はじめて外に出す。
全部を疑う必要はありません。「間違えたら命取りになる部分」だけ確認すれば十分です。

② AIに“自社の正しい資料”を渡して、その中から答えさせる

AIの一般知識だけで答えさせると、作り話が混ざりやすくなります。
そこで、正しい資料(社内マニュアル、商品仕様、議事録など)を貼り付けて、
「この中から、出典を示して答えて。書いていなければ『分からない』と言って」
と指示します。
専門的には「グラウンディング(根拠づけ)」や「RAG」と呼ばれる考え方ですが、
中小企業はこの一言を足すだけでも、的外れな作り話をぐっと減らせます。
(ガートナーも、2026年までに企業の生成AI活用の多くが、誤りを抑えるため
自社データに根拠づける仕組みを必要とすると予測しています=報道ベース。)

③ 用途を選ぶ(得意なことだけ任せる)

ブレスト、要約、メールやたたき台づくりは、AIがとても得意です。
一方で、正確さが命取りになる用途(対外文書・数字・契約・法務)は、人が最終確認する。
「どこまで任せるか」は前回の記事のテーマでもありました。あわせてどうぞ。

④ 「自信」を信用しないルールを1行つくる

最後はチーム全体の習慣です。AIの答えに対して、「出典は?その数字の元は?」と必ず聞く
そして出典を出せない主張は採用しない
このシンプルな一文を社内のAI利用ルールに入れるだけで、事故の多くは防げます。

まとめ ── AIは“優秀だが、たまに自信たっぷりに間違える新人”

ハルシネーションは、AIが使えないという話ではありません。
AIは桁違いに速くて優秀な新人です。ただし、たまに自信満々に間違える新人でもあります。

ですから、付き合い方は人間の新人と同じ。
任せる、でも大事なところは確認する。 これだけです。
「AIが言ったから」で外に出さない――この一線さえ守れば、AIは安心して頼れる戦力になります。


あわせて読みたい

参考

本記事は複数の公開情報をもとに作成しています。数値は調査・時点により幅があるため、傾向としてお読みください。


この記事はAIが作成し、人が内容を確認して公開しています。

コメント

タイトルとURLをコピーしました