ビックデータがあっても人間は間違える
AIME
AI投資365
外挿法と自己成就予言・自己破壊予言
AIME
本文章は、シグナル&ノイズ 天才データアナリストの「予測学」（ネイト・シルバー著）の内容を要約しております。
created by Rinker
¥1,573
(2024/12/22 16:25:07時点 楽天市場調べ-詳細)
外挿法による認知バイアスの落とし穴
「外挿法」とは、ある既知の数値データを基にして、そのデータの範囲の外側で予想される数値を求めることである。
あまりにも基本的な予測手法のため、落とし穴として人間は現在の予測傾向がずっと続くと仮定してしまいます。（直線本能）
多くの予測失敗は、この方法に過度に依存した結果です。
20世紀の幕開けに、都市計画者たちは馬車による汚染、特に馬糞が問題となっていました。
1894年、タイムズ紙の記者は、1940年代にはロンドンが馬糞で9フィート（約2.7メートル）も埋まるだろうと予測しました。
しかし幸いにもその10年後、ヘンリー・フォードがT型フォードの試作に成功し、危機は回避されました。
また、外挿法は人口増加の予測においても失敗の原因となることがあります。
世界人口を初めて真剣に予測したのはイギリスの経済学者ウィリアム・ペティ卿で、1682年のことでした。
人口統計が一般的でなかった当時、ペティは革新的な手法を用いて17世紀の人口増加は緩やかだと正確に予測しました。
しかし、この伸び率が将来も変わらないと仮定してしまいました。
その理論で言えば、2012年の世界人口は7億人になるはずでしたが、実際は産業革命が起こり、2011年には70億人を超えました。ペティの予測の10倍です。
スタンフォード大学の生物学者ポール・エーリックと彼の妻アンは、1968年に『人口爆弾』を出版し、1970年代には数億人が飢餓で死ぬと予測しました。
この予測が外れた理由はいくつかありますが、特に1960年代の“自由恋愛”の影響で急増した出生率が永遠に続くという前提が問題でした。
エーリックは後に「当時は、セックスと子どもが人々の関心の中心で、家族のサイズを変えることは難しいと思われていました。女性の地位向上や雇用機会の提供が出生率を下げると後になってわかりました」と語りました。
当時からわかっていた研究者もいました。
実際、1960年代から1970年代にかけての国連の人口予測は、30年後、40年後の人口をかなり現実的に見積もっていました。
外挿法を用いて人口や病気などの数が急激に増加するものを予測すると、誤りを犯すことが多いです。
1980年代初頭、アメリカでのAIDS診断者数の累計は急増しました。
1980年には99人だったが、1984年には1万1148人になりました。
これを基にした予測では、1995年にはAIDS患者数が27万人になるとされましたが、実際には56万人でした。2倍以上の数です。
当時、いくつかのモデルは外挿法を用いていましたが、病気の予防や治療の改善などの変化を考慮していなかったためです。
インフルエンザの予測が外れる理由
インフルエンザが発生した際、疫学者が採用する統計手法は、先に挙げた例ほど簡単ではないものの、数値が限られ不確かなデータしかない段階で、外挿法を使って予測する難しさに直面しています。
病気の拡大を予測する際に広く用いられるのは、「基本再生産数」と呼ばれる指標です。
これは「R0」と表されることが多く、1人の感染者が潜在的に感染させうる他の非感染者の数を意味します。
例えば、R0が4であれば、予防策が講じられていない場合、1人の感染者が回復するか死亡するまでに平均4人に感染を広げる可能性があると考えられます。
理論的には、R0が1をわずかに超える場合でも、予防接種や隔離政策がない限り、病気は最終的に人口全体に広がることになります。
スペインインフルエンザのR0は3、天然痘は6、麻疹は15、そしてマラリアは150とされています。マラリアは文明の歴史において特に致死率が高い病であり、今日でも世界の一部の地域で死亡原因の10%を占めています。
「基本再生産数 (R0) 」の問題点は、病気が広く流行し統計データが詳しく検証されるまでは、その信頼できる推計値が明らかにならないことです。
このため、疫学者たちは初期の限られたデータをもとに外挿することを余儀なくされます。
同じく、初期段階での正確な致死率の測定も難しいとされています。
これらの情報がなければ病気の予測は不可能ですが、流行が終息するまでこれらの情報を得ることはできません。
これは、疫病の予測におけるパラドックスの一つです。
AIDS（エイズ）の予測
特に、高い伝染力を持つ病気が発生した直後のデータはしばしば不正確です。
例えば、アメリカでAIDSが診断された人数は、データが利用可能になるまでに数年かかることがありました。
これらの更新された数字でさえ、予測には不十分でした。
初期のデータに基づく予測は、さらに不確かな結果を生むでしょう。
AIDSに関する初期の理解不足は、患者だけでなく医師の間にもあり、多くの偏見に繋がっていました。
AIDSを示す症状が見過ごされたり、誤診されたりすることもありましたし、AIDSが原因とされる感染症が主な死因にされたこともありました。
数年後になって、医師たちは過去の事例を見直し、病気が初期段階でどの程度広がっていたかをより正確に推測できるようになりました。
2009年の豚インフルエンザの際の予測失敗も、不十分なデータが一因でした。
メキシコではH1N1ウイルスによる致死率が非常に高いように見えましたが、アメリカではそれほどでもありませんでした。
この差異は、一部は医療の質の違いによるものでしたが、大部分は統計上の錯覚でした。
致死率の計算は理論的には単純で、その病気による死者数を症例数で割れば良いのですが、実際にはどちらにも不確かさが存在します。
メキシコでは他のインフルエンザや別の病気による死亡もH1N1ウイルスのせいにされていたことがありました。
研究所の検査結果によれば、H1N1による死亡者は全体のおよそ4分の1に過ぎなかった可能性があります。
また、H1N1の症例数は、実際よりもずっと少なく報告されていたと考えられています。
発展途上国であるメキシコでは、アメリカのような報告システムが整っていなかったり、病気になったらすぐに病院に行くという習慣がないためです。
メキシコの事例を見ると、軽症のインフルエンザが数千件、もしくは数万件報告されずに済む可能性があります。
病気の広がりと致死率が予測を困難にする
予測の難しさはこれに留まりません。
予測が行われる時点での病気の広がり方にも依存します。
例えば、病気が予想以上に早く広がった場合、致死率が低くなる可能性があります。
これは、軽症の症例が多いためで、死亡者数が増えていないにもかかわらず、症例数が急速に増加するためです。
反対に、病気が予想よりもゆっくりと広がる場合、致死率は高くなることがあります。
これは、症例数の増加が遅いためで、一部の重篤な症例だけが報告されることになるためです。
今日では、過去のデータを元にしたモデリングや、リアルタイムのデータを用いた予測アルゴリズムが改良されています。
しかし、それでも不確実性は完全には除去できません。
病気が新しく発生するたびに、疫学者たちは同じ問題に直面し、可能な限り正確な予測を立てようとしますが、予測が不確かなことには変わりありません。
自己成就予言
人間の行動を予測する際、その予測が逆に人間の行動に影響を与えることがあります。
経済界でよく見られるのは、予測によって行動が変わり、結果的にその予測が現実になることです。
伝染性の病気の予測も同様の問題を抱えています。
予測が実際に起こることを「自己成就予言」と呼びます。
例えば、大統領予備選挙では、多くの候補者がいる中で世論調査の結果が発表され、その結果が有権者の投票行動に影響を与えることがあります。
有権者は自分の一票を無駄にしたくないため、勝ちそうな候補者に票を投じることを選ぶでしょう。
2012年のアイオワ州共和党党員集会では、最終段階でCNNがリック・サントラムの支持率が10パーセント上昇したと報じました。
これにより、メディアはサントラムに好意的な報道を増やし、結果として彼が州を制しました。
デザインやエンターテインメント業界も同じことが言えます。
これらの業界は消費者の好みを予測しようと競い合っていますが、同時にマーケティングによって消費者の好みを形成する力も持っています。
ファッション業界では、例えば来シーズンに流行する色を予測します。
この予測はプランニングに時間がかかるため、1年前に行われます。
影響力のあるデザイナーが「来年はブラウンが流行る」と発表すれば、ブラウンの服が量産され、ショーウィンドウやカタログで目立つようになります。
そして一般の人々も流行に乗じてブラウンの服を着るようになりますが、これは彼らが実際にブラウンを着たいと思ったからではなく、マーケティングに反応しているからです。
医学的な症状についても、同じような自己成就的な性質があります。
ある症状がメディアで広く報道されると、人々がその症状に注意を払うようになり、医師の診断（あるいは誤診）にも影響を与えることがあります。
自閉症の診断される子どもの数の増加と、新聞での自閉症という言葉の使用頻度は近年急激に増えており、これらは密接に関連しています。
自閉症は、このようにメディアの報道と診断の増加が関連する典型例の一つです。
これは非常に興味深い現象です。
原因となるメカニズムが不明な病気については、ニュース報道によって症例が報告される数が増える傾向があります。
これは、ハーバード公衆衛生大学院のアレックス・オゾノフ博士からの話です。
博士は純粋数学を専攻し、データ分析に長けており、今では伝染病の厳密な統計分析を行う研究をしています。
「人々が特定の症状に注目し始め、それが話題に上がるほど、症例の報告数が急増する現象が繰り返されています。」
オゾノフ博士は、2009年にアメリカで豚インフルエンザが急速に広がった事例も、この現象の一例だと指摘しています。
病気が実際に広がっていることには疑いありませんが、統計上の数値が急激に増加したのは、普段なら見過ごされがちな症状を人々が医者に報告するようになったためでしょう。
医師が病気の拡散を見積もる際、公表された症例数が障害となることがあります。
これは犯罪の報告と似た状況です。
近隣で盗みの件数が増えたと報じられるとき、それは警察が以前捕まえられなかった犯罪者を捕捉するようになったのか、それとも市民が警察に通報しやすくなったからか、あるいは本当に治安が悪化したからか。
これらの要因を区別することは、流行の初期段階で予測を試みる研究者にとって大きな課題です。
自己破壊予言
一方で、「自己破壊予言」という現象は、予測が実際に予測を無効にする場合です。
面白い事例としては、GPSの普及が挙げられます。
例えば、マンハッタンには大通りが2本ありますが、目的地によってはどちらを通るか特に希望がないかもしれません。
GPSは交通状況を考慮してより速く目的地に着けるルートを提案しますが、多くのドライバーが同じナビゲーションシステムを使用している場合、推奨されたルートは車で溢れかえり、結果として遅くなることがあります。
ニューヨーク、ボストン、ロンドンなどで実際にこの問題が起きており、理論的な証拠も経験的な証拠も存在します。
インフルエンザの予測でも同様の問題が起きます。
予測の目的の一つは人々に病気について知ってもらい、予防行動を取らせることです。
そのため、最も有用な予測とは、健康的な行動を促すことで実際には起こらなかった事態を指すのかもしれません。
フィンランドの科学者、ハンナ・コッコは統計や予測のモデル作りを地図作成に例えています。
正確で有益な地図を作るためには、必要な要素をしっかりと取り入れる必要があります。
大都市、著名な川や山、主要なハイウェイなどを欠くわけにはいきません。
しかし、詳細を過度に盛り込みすぎた地図は、かえって理解を難しくし、旅行者を迷わせることがあります。
複雑すぎるモデルは、重要なシグナルよりもノイズに惑わされ、基本的な構造を見失い、予測の精度を落とすことにつながります。
適切な情報モデル
では、どれくらいの情報をモデルに取り入れるのが適切なのでしょうか？
地図製作は、習得に長年を要する芸術と科学の融合した技です。
モデル作りを芸術だと表現するのはやや行き過ぎかもしれませんが、高度な判断が必要であることに間違いありません。
コッコが提起する疑問には実践を通じて答えを出すことができます。
そのモデルは実際に機能しているのでしょうか？
もし機能していない場合は、新たなアプローチが必要とされています。
例えば、医師が伝統的に用いる疫学モデルは非常にシンプルで、必ずしも効果的とは言えません。
感染症を数学的に扱う最も基本的なモデルの一つはSIRモデルです。
これは1927年に開発されたもので、感受性（Susceptible）、感染性（Infectious）、回復（Recovered）の3つのカテゴリーに分けられています。
インフルエンザのような単純な病気では、これらのカテゴリー間の移動は一方通行です。
感受性がある状態から感染し、そして回復します。
ワクチンは近道となり、感受性の状態から直接回復に至り、病気にかかることなく移行します。
このモデルは理解しやすく、ごくわずかな微分方程式で表され、パソコンで数秒で計算できます。
スポンサーリンク
ABOUT ME
為替のシステムトレードしておりましたが、思ったよりもエッジが少ないため、仮想通貨botterに転職しました。
