はじめに
「AIは計算が苦手」「AIは最新情報を知らない」「AIは嘘をつく(ハルシネーション)」。AIの不得意としてよく挙げられるのは、このあたりだと思います。
しかし、AI(Claude)とやり取りしていて実際に腹が立ったのは、そのどれでもありませんでした。AIは必要な情報を読んでいました。一文ずつ見れば、言っていることもだいたい正しかったです。それでも、全体としては私の問題に答えておらず、それどころか、私が否定したかった誤解を補強していました。
この記事では、まず実際に何があったのかを、経緯を省略せずに書きます。そのうえで、それが機械学習の「もっともらしさ」とどうつながるのかを整理します。最近勉強しているナイーブベイズの言葉を使うと、かなり正確に説明できることもわかりました。
1. 何があったのか
1-1. きっかけ:IPv6の記事
最初は、IPv6について最近知ったことを記事にしようとしていました。
- IPv6は、すべての機器がグローバルアドレスを持つ「インターネット本来の姿」に近い。
- NAT(ポート変換)とファイアウォールは別物で、今まで混同していた。
- CGNATの環境でも、IPv6ならグローバルアドレスで通信できる。
このときAIは、「普通のルータにはそもそもファイアウォールがない」という私の書き方を、「国内の家庭用ルータの多くはIPv6パケットフィルタを持っていて、初期設定で外から入ってくる新規接続を拒否している」と直しました。これは事実にもとづく修正で、妥当だったと思います。AIが一般論を言うこと自体が問題なのではありません。 問題は、この後に起きたことです。
1-2. OP25Bの話で起きたこと(経緯)
話の流れで、「IPv6でOP25Bも回避できるのか」と聞きました。そこからのやり取りを、順番どおりに書きます。
(1) 「抜け道」と決めつけられる
AIは、「IPv6でもOP25Bはほぼ回避できない」と説明しました。そのうえで、「OP25Bの抜け道を使って25番で送ると規約違反になる場合がある」と注意し、正規の方法としてサブミッションポートやリレーサービス(SendGridなど)を勧めてきました。
私には抜け道を探す意図はありませんでした。単に、仕組みとしてどうなっているのかを知りたかっただけです。しかしAIは、「OP25Bを回避したい」という質問を、その質問をする典型的な人(迷惑メールを送りたい人)の質問として扱いました。これが、後で書く「典型の質問へのすり替え」の最初の例です。
(2) 楽天モバイルの話、確かめ方、MXの話
この部分では、AIは比較的よく働きました。調べると、楽天モバイルは2022年6月からOP25Bを実施していることがわかりました。一方、外から入ってくるIPv6通信を止めているかどうかについては、公式の記載が見つかりませんでした。そこでAIは、自分で待ち受けを立てて別の回線から接続する、tcpdumpで止まっている場所を切り分ける、といった確かめ方を挙げました。
「そもそも多くのメールサーバはIPv6の25番を開けていないのでは」という疑問にも、統計で答えています。上位100万ドメインのうち、IPv6に対応したMXは半分弱。しかもその大部分はGoogleとMicrosoftの2社によるもので、それ以外の自前運用などでは2割を切る、という内容でした。
(3) ソフトバンク回線と「同じドメインで送りたい」
私は今、ソフトバンクの回線を経由していて、定額なのはいいのですが25番が使えません。以前はIPSIM(固定IPのSIM)を契約していたので、自宅のメールサーバから送ることができていました。サブミッションポートで飛ばして同じドメインで送る方法も考えましたが、うまい案が思い付かず断念しました。
あわせて、AIのOP25Bの説明は誤解を生むと伝え、以前に書いた自分のブログ記事を読ませました。
1-3. ブログに書いていたこと
その記事(2025年7月)は、「受信はできるのに送信はできない」という状況に高校の頃から悩まされ、調べても解決しなかった経験から書いたものです。要点は次のとおりです。
- メールの送信には、「クライアント → サーバ」と「サーバ → サーバ」の2つの区間がある。
- どちらもSMTPで25番を使ってきたので、「メール送信=25番」と思い込みやすい。
- OP25Bは、クライアント側の回線から外へ出ていく25番を止める仕組み。
- そのため、「送信は587番や465番に変えればよい」という誤解が生まれる。しかし587番や465番は「クライアント → サーバ」の区間の話で、「サーバ → サーバ」の配送には25番が必要。
- だから根本的な解決は、サーバを置く回線を、OP25Bのかからないものにすること。クライアントとの通信に587番や465番を使うのは、その上での話。
1-4. AIがブログを読んだうえでしたこと
AIはブログを読み、「抜けていた区別」を認めました。メールの送信には2つの区間があり、送信サーバ自体が家庭回線の中にあると、587番に変えても配送の区間は25番のままで止まる、という説明です。ここまではよかったのです。
ところがAIは、そのすぐ後に、「同じドメインで送りたい」への案として次のものを挙げました。
- 25番を開けられるVPSを、外への配送の中継にする(自宅のPostfixから
relayhostで渡す)。 - Amazon SES、Mailgun、Brevoなどの配信サービスを
relayhostにする。 - ISPのSMTPは送信者のアドレスを制限していることが多いので向かない(「断念したのはここではないか」)。
私が「そこでクラウドを使えば解決、という考えが一番わからない」と言うと、AIは次のような説明をしました。
- OP25Bは各回線事業者の出口にかかっている。VPSを経由すれば、25番で通るのはVPS事業者の出口になる。
- 郵便にたとえると、マンションの管理人が各部屋からの直接投函を禁止しているなら、郵便局に持って行けばいい。
- VPSは固定IPで、逆引きを設定でき、契約者も特定できるので、25番を通してもらえる。
- ただしAWSやGoogle Cloudも標準では25番を制限しているので、「クラウドなら解決」は乱暴。正確には「外向きの25番を通してくれる回線に送信サーバか中継サーバを置けば解決」。
最後の一文は正しいです。それ以上でもそれ以下でもありません。
1-5. 何がそんなに腹立たしかったのか
腹立たしかった理由は、ブログに書いたことのすべてです。
ブログは、「ポートを変えれば」「クラウドを挟めば」解決するという、ネット上にあふれる言い方が誤解を生んでいる、と書くために書いたものです。多くの情報が「クラウドを使えば解決」と言っているのは腹立たしいけれど、まだわかります。しかしAIは、そのブログを読んだ直後に、VPSや配信サービスへの中継を「解決策」として出しました。しかも、なぜクラウドなら通るのかを、郵便のたとえまで使ってもっともらしく説明し、その誤解を補強しました。
ここで大事なのは、AIの言ったことが、一文ずつ見ればほとんど正しかったことです。
- VPS事業者の出口を通れば、ソフトバンクのOP25Bは関係ない。正しい。
- AWSは25番を制限している。正しい。
- 申請すれば25番を開放してくれるVPSがある。正しい。
- ISPのSMTPは送信者のアドレスを制限していることが多い。おおむね正しい。
それでも、全体として伝わるメッセージは「中継を挟めば解決」でした。しかし実際には、中継は自宅の回線でOP25Bを解決したことにはなりません。 25番で配送する役を、OP25Bのかからない別の回線に移しただけです。それを「解決」と呼ぶことこそ、ブログが否定した誤解の形そのものでした。
これはハルシネーション(作り話)ではありません。正しい事実を並べて、間違った全体像を作っています。 一文ずつ確かめても間違いが見つからないので、作り話より厄介です。
1-6. 似た件:セッションライブラリ
同じことは、以前から別の件でも起きていました。
自作のPHPセッションライブラリ「pusyuu_session」について相談すると、AIは毎回のように次のようなことを言いました。
- クッキーを使えばいい
- URLに載せるのは危険なので、HTTPSを必須にすべき
- パスキーにすればいい
- 原理的に限界がある
- 有効期限を短くする
- 識別子を切り替える(ローテーション)
- 世代(子孫)をつないでいく
このライブラリは、冒頭のコメントで最初から立場をはっきり書いています。
「クッキーが無ければセッションは無理」「URLに載せたら漏れるから駄目」「盗まれたら見分けようがない」——どれも正しい指摘です。しかしこのライブラリは、そこで止まらずに「では漏れても取り分が無い形にできないか」を考えた結果です。
さらに、「普通はこうだから」で単純化しないでほしい、単純に見える箇所ほど、そうしなかった理由がコメントに書いてある、とも書いています。AIの提案を一つずつ照らし合わせると、次のようになります。
| AIの提案 | 実際のライブラリ |
|---|---|
| クッキーを使えばいい | クッキーを持てない相手(ガラホ、古いフィーチャーフォン、国内キャリアの古い端末)でもセッションを続けるのが目的。クッキーが使える相手にはもう使っている。こうした端末を機械(クローラ)と見誤って弾かないための判定まで入れている |
| HTTPSを必須に | secure属性は「実際にHTTPSで届いているか」で決める、と理由つきで書いてある。古い端末は今のTLSに対応していないことも多く、HTTPS必須は「その人たちを切り捨てる」のと同じ |
| パスキーにすればいい | 対象の端末では使えない |
| 原理的に限界がある | 「文字列は必ず複製できるので、原理的な壁は越えられていない」と作者自身が認めている。そのうえで「越えられないことと何もしないことは別だ」というのが出発点。AIが「限界だ」と言っても何も足していない |
| 有効期限を短くする、回数で切る | 以前は5回間違えたらセッションを破棄していたが、URLを拾った誰でも他人をログアウトさせられる「レバー」になると気づき、待ち時間がだんだん伸びる形(0→1→5→30→300→1800秒)に変えた。単純に締めつければいい話ではない、と実際の経験から判断した部分 |
| 識別子を切り替える、世代をつなぐ | すでに実装している。しかも本番で、1秒ごとの接続確認が照合のたびに世代を回し、開いたままのページの写しを古い世代にしてしまう問題が起きた。それを経て、世代の鎖を枝ごとに持つ形にした。クッキーの側とクッキー無しの側で回し方を変える理由まで書いてある |
AIの提案はどれも、作者がとっくに考えて、通った道か、理由があって避けた道でした。AIはコードと設計の理由を読まずに(あるいは読んでも)、教科書どおりの答えを、それらしい言い方で重ねていました。
2. 共通点:「この質問」ではなく「似た質問の多数派の答え」を返す
OP25Bの件とセッションの件で、AIがしたことは同じです。
| 私の状況 | 典型の質問 | AIが返した多数派の答え | |
|---|---|---|---|
| OP25B | 送信サーバ自体が家庭回線の中にある。仕組みを知りたいだけ | 「メールソフトから送れない」「OP25Bを抜けたい」 | サブミッションポート、クラウド、中継。抜け道は規約違反 |
| セッション | クッキーを持てない端末が対象。普通のやり方を理由つきで退けた設計 | 「セッションを安全にしたい」 | クッキー、HTTPS、パスキー、期限を短く、ローテーション |
どちらにも、私の状況を典型から分けている条件がありました。
- 送信サーバが家庭回線の内側にある。
- 対象はクッキーを持てない端末である。
- 普通のやり方は、知ったうえで、理由があって退けている。
AIは、この少数派の条件を答えに反映させず、多数派の答えに寄せました。ここで注意したいのは、AIはその条件を知らなかったわけではないことです。ブログもコードも読んでいましたし、「送信サーバが家庭回線の中にあると587に変えても送れない」と自分で説明までしていました。知っていたのに、出てきた答えは多数派の側に倒れていました。
これが、私の考える「AIの本当の意味の不得意」です。知識が足りないのではありません。典型から外れた質問を、典型の質問にすり替えて答えてしまうことです。
3. 「もっともらしさ」とは何か
日本語では、統計の尤度(likelihood)を「もっともらしさ」と呼びます。
言語モデルの学習は、ざっくり言えば、学習データの文章に対するもっともらしさ(尤度)を最大にすることです。「この文脈の次には、どんな言葉が来ることが多いか」を学んでいます。さらに人の評価で調整されるので、「人が読んで良さそうだと感じる答え」にも寄っていきます。
その結果、出てくる答えは「もっともらしい」ものになります。しかし、もっともらしいことと正しいことは同じではありません。
- ネット上に「クラウドで解決」が多ければ、それがもっともらしい答えになる。
- 「セッション=クッキー」が多数派なら、それがもっともらしい答えになる。
- 説明が流暢で、たとえ話まで付いていれば、人が読んで良さそうに見える。
今回腹が立ったのは、この「もっともらしさ」が、まさに私の否定したい誤解の側に働いたからです。
4. ナイーブベイズで見るとどうなるか
最近ナイーブベイズを勉強していて、今回の失敗がこの式の弱点とそのまま重なることに気づきました。ナイーブベイズは、次の式でクラス(答え)を選びます。
P(クラス | 特徴) ∝ P(クラス) × Π P(特徴ᵢ | クラス)
(事前確率) (各特徴の尤度を独立とみなして掛ける)
先に断っておくと、今の言語モデルはナイーブベイズではありません。 特徴を独立に扱うわけではなく、文脈や組み合わせもある程度とらえます。ただ、もっともらしさを最大にするという目的と、データの多数派に引っ張られる性質は共通しています。弱点が出る方向が同じなので、たとえとしてはかなり正確だと考えています。
4-1. 事前確率に負ける
証拠(特徴)が弱かったり、十分に重く見られなかったりすると、事前確率の大きいクラスが勝ちます。
簡単な数字で試してみます。クラスは次の2つです。
- A:「587番や中継で解決する」
- B:「回線を選ぶしかない」
ネット上の情報量から、事前確率をA=0.95、B=0.05とします。特徴は「自宅サーバ」「587」「送れない」の3つで、それぞれの尤度を次のように置きます。
| 特徴 | P(特徴|A) | P(特徴|B) |
|---|---|---|
| 自宅サーバ | 0.6 | 0.9 |
| 587 | 0.8 | 0.5 |
| 送れない | 0.7 | 0.9 |
計算すると、次のようになります。
A: 0.95 × 0.6 × 0.8 × 0.7 = 0.3192
B: 0.05 × 0.9 × 0.5 × 0.9 = 0.02025
→ Aの事後確率 ≒ 94%
「自宅サーバ」と「送れない」はBの側に有利な特徴です。それでも事前確率の差が大きいので、Aが勝ちます。
4-2. 独立性の仮定で、組み合わせの意味が消える
OP25Bの誤解は、まさに特徴の組み合わせ(交互作用)の問題です。
- 「587番を使う」+「送信サーバがOP25Bの外にある」→ 正しい
- 「587番を使う」+「送信サーバが家庭回線の中にある」→ 間違い
ところが、特徴を独立に扱うと、「587」という語は単体で「解決」の証拠として足し込まれます。「どこにある送信サーバの話か」との組み合わせで意味が反転することを、表せません。
試しに、組み合わせそのものを1つの特徴にしてみます。X=「送信サーバ自体が家庭回線の中にある、かつ587番」です。Aの答え(587番や中継で解決)は、送信サーバがOP25Bの外にあるときにしか成り立たないので、P(X|A)=0.02、P(X|B)=0.9 と置けます。
A: 0.3192 × 0.02 = 0.006384
B: 0.02025 × 0.9 = 0.018225
→ Bの事後確率 ≒ 74%
答えがひっくり返ります。決め手になる特徴は、単語ではなく組み合わせの中にあります。 そして、典型から外れた質問ほど、その決め手が組み合わせの中に隠れています。
セッションの件も同じです。「HTTPS必須」は一般には良い特徴ですが、「古い端末が対象」と組み合わさると、「その人たちを切り捨てる」という意味に変わります。
4-3. 否定や文脈が「語の袋」に溶ける
ライブラリのコメントには、「『クッキーが無ければセッションは無理』『URLに載せたら漏れるから駄目』——どれも正しい指摘です。しかし…」と書いてあります。
これを単語の袋(bag of words)として見ると、「クッキー」「無理」「URL」「漏れる」が並んでいます。むしろ、普通の答え(クッキーを使え、URLは危険)を支持する証拠に見えます。「しかし」以降の立場は、構造ごと失われます。
普通のやり方を否定するために書いた文章ほど、普通のやり方を表す単語をたくさん含んでいます。 私のブログも同じで、誤解を説明するために「587」「465」「サブミッション」「クラウド」という言葉を何度も使っています。語のレベルで見ると、ブログは誤解の側の証拠を大量に含んだ文書に見えてしまいます。
4-4. 相関した証拠を二重に数えて、自信過剰になる
ナイーブベイズは確率が極端に出やすく、校正が悪いことで知られています。相関した特徴を独立とみなして、何度も掛け算するからです。
ネットの情報も同じ構造です。「クラウドを使えば解決」と書いたページが100枚あっても、その多くは同じ元ネタを写したり、言い換えたりしたものです。実質的には1票なのに、100票として数えられます。
たとえば、1枚のページが「Aのほうが2倍もっともらしい」という証拠になるとします。同じ内容の写しが5枚あり、それを独立に数えると、2の5乗で32倍になります。情報が多いことは、独立した証拠が多いことではありません。 それなのに、多いほど自信満々の答えになります。
4-5. ゼロ頻度と平滑化で、新しいものが平均に引き戻される
学習データにほとんど無い組み合わせは、確率がゼロに近くなります。ナイーブベイズでは、ゼロのままだと掛け算が全部ゼロになるので、ラプラス平滑化などでならします。ならした結果、珍しいものは「よくあるもの」の分布に寄せられます。
「誰もが無理と言うものに挑む設計」は、定義上データに少ないものです。だから一般論に丸められやすくなります。pusyuu_sessionの作者コメントに「ありきたりを作るのではなく、難問に挑むことを楽しむ」とあるように、そもそもデータの多数派から外れることを目的にしたものほど、この弱点の影響を強く受けます。
4-6. 用意されたクラスの中からしか選べない
分類器は、既存のラベルのどれかを選ぶことしかできません。
「みんなは無理と言うが、漏れても取り分が無い形にする」というのは、既存のラベルにない答えです。「回線を選ぶしかない、それ以上でもそれ以下でもない」というのも、「解決策を提示する」という型から見れば、ラベルにない答えです。AIは、その答えを出す代わりに、一番近い既存のラベル(中継で解決、クッキーを使え)を選んでいました。
5. AIの不得意についての誤解
ここまでを踏まえると、AIの不得意についてよく言われることは、少しずれていると思います。
誤解1:「AIは知識が足りないから間違える」
今回、AIは必要な情報を持っていました。ブログもコードも読んでいましたし、正しい区別を自分で説明までしていました。それでも多数派の答えに倒れました。情報を足せば直る、というものではありません。
誤解2:「AIの問題はハルシネーション(作り話)だ」
今回の答えは、一文ずつ見ればほとんど正しいものでした。正しい事実を並べて、間違った全体像を作っていました。作り話なら、事実を一つずつ確かめれば見つかります。しかしこの形の間違いは、事実を確かめても見つかりません。全体として何を主張しているかを見ないと気づけません。
誤解3:「多くの情報源がそう言っているなら正しい」
4-4のとおり、多くの情報は独立した証拠ではありません。そして、AIはその「多さ」を学習しています。AIの答えが多数派と一致していることは、正しさの証拠ではなく、多数派を写していることの証拠にすぎない場合があります。
誤解4:「もっともらしい説明ができるなら、わかっている」
郵便のたとえは上手でした。しかし、上手な説明は理解の証拠ではありません。むしろ流暢さは、多数派の誤りに権威を持たせます。今回いちばん腹が立ったのは、間違いの中身よりも、それを補強する言い方でした。
6. 問題点と課題
問題点
- 誤解の再生産と増幅:AIは多数派の誤解をそのまま出力します。さらに、AIの出力がネットに戻って次の学習データになると、「多くの情報」はますます偏ります。4-4の写しの問題が、AI自身によって拡大していきます。
- 流暢さが誤りを補強する:もっともらしい説明が付くと、多数派の誤りが権威を帯びます。読む人が詳しくなければ、それに気づけません。
- 少数の一次情報が軽く扱われる:実装した人の経験、本番での失敗の記録、何年も悩んだ末にたどり着いた区別。こうしたものは量が少ないので、重みが小さくなります。しかし多くの場合、正しいのはそちらです。
- 典型の質問へのすり替え:「抜け道を探しているのだろう」「普通のセッションの相談だろう」と、質問者を典型の質問者に置き換えます。質問者の意図や前提が典型から外れているほど、答えがずれます。
- 事実の正しさで全体の誤りが隠れる:一文ずつ確かめても間違いが見つからない形で、全体として間違ったことを伝えます。
課題
- 頻度ではなく仕組みから考える:OP25Bは、「パケットがどの網の出口を25番で通るか」という仕組みから考えれば、間違えようがありませんでした。頻度で答えると間違え、仕組みで答えると当たる、という典型例です。
- 答える前に「この質問は典型とどこが違うか」を特定する:ナイーブベイズでいえば、事前確率で答える前に、尤度の決め手になる特徴(多くは組み合わせ)を探すことです。人間でいえば、まず相手の前提を読むことです。
- 相手がすでに考えたことを、答えとして返さない:作者が理由つきで退けた案を、また提案しないこと。そのためには、結論だけでなく、なぜそうしなかったかを読む必要があります。
- 「解決」という言葉を正確に使う:問題を別の場所に移すことと、問題を解決することを区別すること。「それ以上でもそれ以下でもない」答えのほうが正しいときに、無理に解決策の形にしないこと。
- 使う側の課題:AIの答えが多数派と一致しているとき、それを正しさの証拠とみなさないこと。特に、自分の状況が典型から外れているとわかっているときほど、AIの答えが典型のほうへ引き戻されていないかを疑うこと。
おわりに
AIは、知らないから間違えるのではありませんでした。知っていても、多数派のもっともらしさに引き戻されることで間違えていました。そしてその間違いは、正しい事実と流暢な説明に包まれているので、作り話よりも気づきにくく、誤解を強めます。
これは、ナイーブベイズが事前確率に負け、組み合わせを見落とし、写しを独立の証拠として数えて自信過剰になる、という性質と同じ方向の弱点です。
「みんながそう言っている」ことと「この状況で正しい」ことは別です。高校の頃から悩んだOP25Bの件も、普通のやり方を理由つきで退けたセッションの設計も、その区別が抜けたときに、AIはいちばん的外れで、いちばん自信のある答えを返しました。AIを使うときは、そこを覚えておくのがいいと思います。