【結論】シグナル&ノイズで著者が伝えたかったこと
本文章は、シグナル&ノイズ 天才データアナリストの「予測学」(ネイト・シルバー著)の内容を要約しております。
表向きの情報に騙されるな
メジャーリーグの遊撃手には、絶対に捕れるボール、絶対に捕れないボール、そして飛び込まなければ捕れないボールが存在します。
最後のタイプのプレーは、特に派手で注目されがちです。
しかし、そのような派手なプレーに目を奪われてしまうと、遊撃手の真の実力を見誤ることがあります。
たとえば、デレク・ジーターは『マネー・ボール』時代によく議論の対象となりました。
アナウンサーやスカウトは、他の選手より頻繁に見せる彼のダイビング・キャッチを根拠に、彼を素晴らしい遊撃手だと評価しました。
しかし、統計に詳しい人々はこれを分析し、その考えに疑問を投げかけました。
ジーターは素晴らしい選手であるにもかかわらず、ボールへの反応が遅れることが多く、そのためにダイビングをして時間を補う傾向にありました。
ゴールド・グラブ賞を5回受賞しているにも関わらず、統計データを詳細に見ると、実際の彼の守備力はそれほど高くないことが明らかになります。
ジーターが飛び込まなければ捕れないようなボールでも、守備力で名を馳せた遊撃手、オジー・スミスならば簡単に捕球できたでしょう。
そして、そのようなプレーはスミスにとっては普通のものであったため、おそらくそれほど注目されなかったでしょう。
能力にはどの人にも限界があります。
その限界を基準に判断すると、日常的に楽にこなしていることに対しては、誰も驚かなくなるでしょう。
例えば、歴史を振り返ると、非常に正確だった予測の一つに、エドモンド・ハレーの彗星予測があります。
1758年に地球に戻ると予測されたハレーの彗星は、多くの疑問を呼びながらも、予定通りに現れました。
かつて予測不可能とされた彗星も、現在では驚くほど正確に予測されています。
天文学者たちは、次回ハレー彗星が地球に最も近づくのは2061年7月28日であると予測しています。
このように、現在の自然界に関する疑問の多くが将来的には解明されていくことでしょう。
自然の法則は大きく変わることはありません。
グーテンベルクの印刷機の発明以来、人間の知識は増え続けており、これからもその傾向は続くでしょう。
その結果、人間は自然からのシグナルを、全てではなくとも、徐々に発見していくことになります。
しかし、科学とテクノロジーを本書の主役に据えると、このビッグデータの時代にそれらが成し遂げることについて非現実的な絵を描いてしまう恐れがあります。
予測が進歩するとは限らず、逆のことが起こる可能性もあります。
科学は自然の法則を解き明かす一方で、社会を複雑化し、テクノロジーは人間の関わり方を大きく変えてきました。
ティム・バーナーズ=リーが開発したワールド・ワイド・ウェブは、「全体の文脈、方程式、情報伝達の原動力、すべてを変えた」と言われています。
情報の量は急増していますが、それに比例して有益な情報が増えているわけではありません。
ノイズに対するシグナルの比率は低下していると言えるでしょう。
私たちは、これらを区別できるようにならなければなりません。
本書では、「私たちが知っていること」ではなく、「知っていること」と「知っていると思っていること」の違いに焦点を当てました。
そして、この溝を埋めるための戦略を提案しました。
それは、大きなジャンプを行い、その後小さなステップを重ねていくというものです。
最初のジャンプは、ベイズ的に予測と確率を考えることになります。
確率論的に考える
ベイズの定理では、ある出来事が実際に起こる可能性を、最初と最後に確率で表現します。
世界が本質的に不透明であるとは限らず、ニュートンの法則のような規則性が科学の世界を支配していることを踏まえるべきです。
ただし、世界に対する私たちの主観的な認識は、真実を推定したものであるということは忘れてはなりません。
確率論的な考え方は最初は戸惑うかもしれません。
多くの人は、日常生活ではこのような考え方に慣れていないため、不確実性をネガティブに捉えがちです。
しかし、最初に見積もった確率は、大きく外れることがありますが、それはスタート地点に過ぎません。
ベイズの定理では、新しい情報に接するたびに見積もりを見直し、修正し、改善することが求められます。
例えば、軍隊や医療現場では、ベイズ的な考え方を取り入れてトレーニングや診断に応用し、成果を上げています。
これらの例は、テレビに登場する専門家よりも学ぶべき点が多いでしょう。
人間の脳は推定という手段で情報を処理し、生物学上の必要性からそうしています。
私たちは、意識している以上の情報を認識し、それを規則やパターンに分類して問題を解決します。
しかし、強い圧力の下では、普段の規則性は役立たなくなることがあります。
例えば、9・11のような惨事を生き延びた人々は、自分が体験したことの一部は詳細に思い出せるが、総じて外界から切り離されたような感覚を持っていたと報告されています。
効率的市場仮説にベイズ的考えをしてみる
次に、効率的市場仮説に関するいくつかの文章を考えてみましょう。
これらの文章は推定であり、一つ一つを検証することで、より正確な理解に至ることができます。
経験の蓄積とともに、このような単純化と推定は実務上の知識となり、役立つガイドになります。
しかし、私たちの理解は完璧ではなく、その不完全さに気づかないことが多いのです。
上記の7つの文章は、株式市場で利益を上げることに関する異なる視点を示しています。ベイズ的なアプローチを用いると、これらの各文を見直し、最も確からしい結論に近づけることができます。
- 「株式市場で利益をあげることができる人はいない」という断定的な文は、株式市場における利益の可能性を完全に否定しています。
- 「長期的に株式市場で、利益をあげることができる人はいない」という文は、短期的な成功を考慮せずに長期的な視点を強調します。
- 「長期的に株式市場で、リスクに見合う以上の利益をあげることができる人はいない」という文は、リスクとリターンのバランスを考慮に入れています。
- 「長期的に株式市場で、取引コストを考慮した上で、リスクに見合う以上の利益をあげることができる人はいない」という文は、リスクとリターンに加えて、取引コストも重要な要素として取り入れています。
- 「インサイダー情報なしに、長期的に株式市場で、取引コストを考慮した上で、リスクに見合う以上の利益をあげることができる人はいない」という文は、インサイダー情報の有無も考慮に入れています。
- 「インサイダー情報なしに、長期的に株式市場で、取引コストを考慮した上で、リスクに見合う以上の利益をあげることができる人はほとんどいない」という文は、一部の例外を認めつつ、一般的な状況を説明しています。
- 「長期的に株式市場で、利益をあげることができる人がどのくらいいるのかは、はっきりとはわからない。データにはノイズが多いからだ。しかし、ほとんどの人がリスクに見合う以上の利益をあげられないことはわかっており、取引コストもかかるので、インサイダー情報でもない限り、インデックス・ファンドに投資したほうがいいだろう」という文は、データの不確実性を認めつつ、一般的な投資戦略としてインデックス・ファンドを推奨しています。
最初の断定的な推定、「株式市場で利益をあげることができる人はいない」という主張は、確かに強い印象を与えます。
しかし、このような絶対的な主張は現実の複雑さを反映していません。
不確実性に満ちた最後の文章に進むにつれて、シンプルな一文では全てを語り尽くすことができなくなります。
これが現実の世界をより正確に表しています。
どのような推定も、初めて株式市場に触れる人に対しては有益な情報を提供する可能性があります。
最初の断定的な推定でも、何も伝えないよりは役立つ場合があります。
しかし、問題は、これらの推定を絶対的な現実だと錯覚するときに生じます。
フィリップ・テトロックが言及する「ハリネズミ」のように、単純化された見解は一見普遍的で確かな理論のように思えるかもしれませんが、実際には予測が当たらないことが多いです。
ハリネズミは、予測を正確にするための細かい要素を無視する傾向があります。
私たちは複雑な脳を持ち、広大な宇宙の中で生きています。
確率論的に考えることの本質は、立ち止まり、時間をかけてデータを吟味し、自身の思考が不完全であることを受け入れることにあります。
このプロセスを通じて、最終的には自身の判断力が向上していることに気づくはずです。
確実な答えが存在しない場合でも、可能な限り最善の判断を下すためのスキルが、徐々に磨かれていくのです。
出発点を知る
ベイズの定理では、証拠を評価する前に、その事象が発生する事前確率を明確にする必要があります。
この事前確率は、過去の経験や社会に蓄積された知識に基づいて見積もられることが理想的です。
市場は、完璧ではないものの、時間と多くの人々の判断の集合体として、個々の判断よりも良い結果を導くことが期待されます。
特に、深い調査を行う時間がない場合、市場は出発点として有用です。
しかし、市場は万能ではありません。
場合によっては、常識や他の要素が事前確率を決める際の助けになります。
統計モデルは、数学的に正確であるように見えても、推定に過ぎず、必ずしも精密ではないことが多いです。
情報は、適切な文脈の中でのみ真の知識となります。
そうしないと、シグナルとノイズを区別することはできず、擬陽性に惑わされる可能性があります。
ベイズの定理の下では、バイアスを完全に排除することは不可能です。
バイアスを減らす努力は重要ですが、バイアスが全くないと主張することは、実際には多くのバイアスを持っていることを意味することがあります。
「これが私の出発点だ」と率直に認めることで、誠実に作業を進めることができ、また自分の主観的なフィルターを通して現実を見ていることを自覚することができます。
この自覚は、より精度の高い推定と判断を導くための重要なステップです。
トライアル・アンド・エラー
ベイズの定理を実践する最も効果的な方法は、多くの予測を行うことです。
このプロセスは、新しい情報に接するたびに予測を更新し、トライアル・アンド・エラーの方法を採用することを意味します。
ビッグデータを活用している企業、例えばGoogleのような企業は、時間をかけてモデルにこだわるよりも、実際の顧客を対象にした多数の実験を通じてアイデアを試します。
ベイズの定理のもとで重要なのは、新しい情報の評価方法です。
価値あるアイデアがあれば、積極的に反証可能な仮説を立て、予測に当てはめてテストするべきです。
多くの人は、データに含まれるノイズの量を理解しておらず、最新のデータに過度に重点を置く傾向があります。
政治記者や経済記者は、世論調査や経済統計の不正確さを見落としがちです。
外れ値がニュースになることも多いです。
しかし、問題が個人的または専門的になると、逆のバイアスが働き、事実が変化していても見方を変えることが難しくなります。
テトロックが言及するハリネズミ型の専門家は、データが自分の理論に合わなくなっても、予測を変えることができないことがあります。
運動家は現実を単純化しすぎてしまうことに気づくまで苦悩するかもしれません。
自分の考えを検証する機会が多ければ多いほど、間違いから学び、こうした問題を避けることができるようになります。
映画のように、ただ海を見つめているだけでは何も起こりません。
現実の世界では、一歩一歩、時には偶然の出来事を通じて前進することが求められます。
ベイズの定理を通じて、より良い予測と判断を行う能力を磨くことができるのです。
予測可能性をどう見るか
予測は、重要であるがゆえに困難です。
客観的な現実と主観的な現実が交差する領域に存在するからです。
シグナルとノイズを区別するためには、科学的な知識と自己認識の両方が必要です。
言い換えれば、予測できないものを受け入れる冷静さ、予測できるものを予測する勇気、そしてその違いを見分ける知恵が求められます。
予測可能性に対する見方は、時代によって変わります。
例えば、「予測可能」と「予測不可能」という言葉が学術雑誌で使われた回数を見ると、20世紀初頭には同じくらいの頻度で使われていましたが、世界恐慌から第二次世界大戦にかけては「予測不可能」が増え、「予測可能」が主流になった1970年代にピークを迎えました。
近年では再び「予測不可能」が増加しています。
この傾向は、実際の予測技術の変化ではなく、その時代の科学の流行や私たちの記憶力に左右されます。
私たちが思う予測能力と実際の能力の間には逆の相関関係があるかもしれません。
1950年代は、1970年代に比べて経済的、科学的に発展していたにもかかわらず、予測できると思われていた1970年代よりも、実際には予測が難しかった時代でした。
このような傾向は、学術雑誌に限らず、英語の小説で「予測可能」と「予測不可能」という言葉が使われた回数をグラフにすると、ほぼ同じ結果になるでしょう。
直接影響を受けていなくても、予測不能な大惨事は、自分の運命をコントロールしているという自信を揺るがすものです。
予測の難しさと重要性を理解することは、予測技術の向上にとって重要な一歩となります。