AIツクリラボ
(更新: )・AIライティング・画像生成AI・10分で読めます・📝 考察

AIのハルシネーション(誤情報)とどう付き合うか

ブログの執筆や情報収集にAIを使っていると、必ず一度はぶつかるのが「ハルシネーション」、つまりAIがもっともらしい嘘や誤情報を自信満々に返してくる現象です。便利さと引き換えに付き合っていく必要がある弱点だと感じているので、実際に遭遇した例と、気をつけていることをまとめます。

💭 実際に遭遇して思うこと

存在しないURLや、実際とは違うサービスの料金プランをもっともらしく提示されたとき、文章の自然さゆえに一瞬信じそうになったことがあります。「AIが間違えるはずがない」という思い込みではなく、「AIは自然な文章で間違えることがある」という前提で付き合うようにしてから、確認作業を挟むことに抵抗がなくなりました。

実際に遭遇したハルシネーションの例

  • 存在しない機能・プランの提示: あるサービスの料金プランについて質問したところ、実際には存在しないプラン名を、もっともらしい価格とともに提示されたことがあります
  • 古い情報と新しい情報が混ざる: サービスの仕様が変わっている場合でも、学習データ時点の古い情報のまま回答されることがあります
  • URLの捏造: 「参考リンクを教えて」と頼むと、実際にはアクセスできない、それらしい見た目のURLが返ってくることがあります

いずれも文章としては非常に自然で、それらしい理由付けまで添えられているため、知識がない分野だと見抜くのが難しいという点が厄介なところです。

なぜハルシネーションが起きるのか(仕組みの理解)

AI(大規模言語モデル)は、学習したデータをもとに「次に来る可能性が高い言葉」を予測しながら文章を生成する仕組みです。事実かどうかをデータベースのように検索して答えているわけではないため、学習データにない・曖昧な情報については、統計的にもっともらしい文章を生成してしまうことがあります。この仕組みを理解しておくと、「AIが嘘をつこうとしている」わけではなく「そういう仕組み上の限界がある」と捉えられ、必要以上に不信感を持ちすぎずに付き合えるようになります。

実際にやっている対処法

  1. 固有名詞・数値は必ず一次情報を確認する: サービス名・料金・URLなど、間違っていると実害が出る情報は、必ず公式サイトなど一次情報にあたって確認しています
  2. 「これは確実ですか?」と聞き返さない: AIに自己確認を求めても、同じように自信満々な回答が返ってくるだけで、精度が上がるわけではないと感じています
  3. 複数のAIツールで同じ質問をしてみる: ツールによって回答が食い違う場合、その部分は要注意サインとして扱っています
  4. 知らない分野ほど慎重に扱う: 自分がある程度知識を持っている分野は誤りに気づきやすい一方、まったく知らない分野の情報は鵜呑みにするリスクが高いことを意識しています

コードの調査でも「もっともらしい思い込み」は起きる

ハルシネーションは文章生成だけの話ではなく、AIにコードの不具合調査を任せる場面でも似た現象が起きます。「たぶんこれが原因だろう」ともっともらしい説明を組み立てて、実際に検証せず修正に進んでしまうケースです。このブログの運用では、サイトの表示・挙動に関する指摘を受けたときに必ず再現確認を行う手順を徹底しています。本番サイトをcurlで機械的に検査する、ブラウザで実際に開いてDOMを走査する、ローカルビルドの出力HTMLを検査する、という複数の方法で裏を取ってから、初めて修正に着手します。実際に、AI日本株自動売買実験の記事が公開時刻を過ぎても本番サイトに表示されないという指摘を受けた際、「ISRのキャッシュがまだ古いだけだろう」で済ませずに本番サイトへcurlでアクセスして調べたところ、単なるキャッシュの古さではなく、デプロイ自体が数コミット分古いままだったことが判明しました。ブラウザの見た目だけで判断していたら、正しい原因にたどり着けなかった可能性があります。

「たぶんこうだろう」で止めず、実際にHTTPレスポンスを取得して裏を取る、という手順を再現したものです。

$ curl -s -o /dev/null -w "%{http_code}\n" http://localhost:3000/blog/ai-trading-logic
200
 
$ curl -s http://localhost:3000/blog/ai-trading-logic | grep -o '<title>[^<]*</title>'
<title>AI日本株自動売買の判断ロジックとリスク管理ルールを公開します|AIツクリラボ</title>

ブログ記事にAIの回答をそのまま使わない

このブログでも執筆にAIツールを活用していますが、AIが出した情報をそのまま記事に転記することはせず、実際に自分で試した内容・確認した内容をベースに書くようにしています。E-E-A-T(経験・専門性・権威性・信頼性)の観点でも、AIが生成しただけの未検証の情報を発信することは避けたいポイントです。

よくある質問

Q. ハルシネーションが少ないAIツールはありますか? A. モデルやバージョンによって精度に差はありますが、「このツールならハルシネーションが起きない」と言い切れるものは今のところないというのが実感です。ツールの性能に頼りきるのではなく、確認する習慣を持つことが重要だと感じています。

Q. Web検索機能付きのAIなら安心ですか? A. Web検索と組み合わせることで誤情報のリスクは下がる傾向がありますが、検索結果の解釈を誤る、古い情報のページを参照してしまうといったケースもあるため、完全に安心とは言い切れません。重要な情報は最終的に自分の目で一次情報を確認するのが確実です。

Q. コードの調査でも「もっともらしい思い込み」は起きますか? A. 起きます。サイトの表示不具合について指摘を受けたとき、最初に思いついた原因で決めつけず、本番サイトをcurlで機械的に検査する・ブラウザで実際にDOMを確認する・ローカルビルドの出力を検査するという複数の方法で裏を取ってから結論を出すようにしています。実際、「ISRのキャッシュが古いだけだろう」という一見もっともらしい仮説を鵜呑みにせず本番サイトを直接調べたところ、実際にはデプロイ自体が古いままという別の原因だったと判明したことがありました。

AIとSEO・E-E-A-Tの関係についてはChatGPTで書いた記事はGoogleに評価されない?の記事でも詳しく扱っています。

この記事を書いた人

ラボ管理人

AIツール・ノーコード・Next.jsで実際に手を動かしながら、AIツクリラボを運営しています。

運営者情報を見る →