Předpovědi děláme všichni i v běžném životě a zpravidla v tom nejsme nijak skvělí. Každý z nás se dopouští určitých kognitivních omylů a zkreslení, které nám v předpovědích i rozhodování často škodí. Navíc nám na přesnosti těchto předpovědí většinou moc nezáleží. Jinou situaci bychom mohli čekat u předpovědí expertů, kteří jsou často citováni v médiích, například při poskytování odhadu výsledků voleb nebo ekonomického vývoje. Zde se často jedná o opravdové odborníky ve svém oboru a dal by se tak čekat fundovanější odhad. Možná překvapivě tomu tak však zpravidla není.
Psycholog Philip Tetlock studoval předpovědi takových expertů v dlouhodobém výzkumu mezi lety 1984 až 2003. Zahrnul 284 odborníků z nejrůznějších oborů i politických přesvědčení, kteří stanovili dohromady 29 tisíc předpovědí: například jestli skončí jihoafrický apartheid nenásilným způsobem nebo zda bude Gorbačov úspěšně sesazen převratem. Odpovědi na tyto otázky udávali zkoumaní v procentech, nakolik je ta která možnost podle nich pravděpodobná. Právě z tohoto důvodu bylo potřeba cíleného výzkumu s jasně položenými otázkami a jasnou formou odpovídaní. Běžné prognózy v médiích jsou totiž často neurčité a tím i neměřitelné. Výsledky pátrání řada médií vděčně shrnula přibližně takto: „Průměrný odborník je přibližně stejně přesný jako šimpanz házející šipky.“ To odkazuje k jednomu měřítku, se kterým byli experti srovnávání – náhodě, tedy přiřazování stejné pravděpodobnosti všem možnostem.
Autor se později pokoušel tento mediální obraz upřesnit. Podotýká, že sice není vyloženě mylný, ale je zjednodušující a skutečné závěry jsou více různorodé. Experti v průměru opravdu překonali pomyslné šimpanze jen těsně a nepodařilo se jim porazit jednoduché algoritmy, které pracovaly jen s tím, že budoucí vývoj bude stejný jako ten dosavadní (např. státy, které volily republikánského kandidáta, tak budou volit i v příštích volbách).
Možná překvapivě si také vedli hůře ve svém vlastním oboru než při předpovídání v jiných oblastech. Podle Tetlocka též existoval vztah mezi kvalitou předpovědí a věhlasem experta: čím známější a citovanější v tisku byl, tím horší byly jeho předpovědi. Časopis The New Yorker zde podotýká, že role „odborného prognostika“ v médiích je problematická sama o sobě. Na tom, nakolik se jeho předpovědi ukážou jako přesné, nezáleží tolik jako na tom, aby byly zajímavé. Experta tak staví spíše do pozice „showmana“, a čím odvážnější předpověď, tím lépe. Žádný z nich nepřijde o práci, protože se netrefí.
Tetlock také varuje, že v chytlavém hesle o šimpanzích a v zobecňování na průměr se ztratil další důležitý poznatek – někteří experti náhodu překonali a nebylo jich málo. Popisuje, že bližší pohled na data odhalil dvě statisticky odlišitelné skupiny prognostiků. Jedna z nich náhodu neporazila, zatímco druhá ano, a předvedla tak určitou schopnost předpovídat budoucí události (byť slabou a týkající se jen bližších událostí, vzdálených maximálně dva roky). Co tyto skupiny odlišovalo? Nešlo o deklarovanou politickou orientaci: socialisté se mýlili stejně často jako zastánci volného trhu. Rozdíl nebyl ani v počtu titulů nebo přístupu k lepším informacím. Rozdíl byl v tom, jak experti v těchto skupinách uvažovali.
Kde se vzali lišky a ježci?Rozlišení kognitivního stylu na tyto dvě skupiny vychází z psychologického rysu potřeby kognitivního uzavření (need for cognitive closure - NFC). Člověk s vyšší NFC špatně toleruje nejistotu, potřebuje při řešení problému rychle dojít k jasnému závěru. Oproti tomu při nižší úrovni NFC je rozhodování zpravidla pomalejší, a než k němu dojde, je potřeba více informací a úhlů pohledu. Nejednoznačnost tolik nevadí. |
Kromě přesnosti předpovědí Tetlock totiž zkoumal i některé charakteristiky prognostiků a z nich se jako nejvýraznější ukázal tzv. kognitivní styl, tedy právě způsob, jakým člověk uvažuje. V jeho rámci odlišil dvě skupiny, které pojmenoval podle eseje filozofa Isaiaha Berlina metaforicky „ježci“ a „lišky“. Ježci „vědí jednu velkou věc“: nahlíží na svět skrze nějakou hlavní myšlenku, jsou ideologové. Vyjadřují se sebejistě, jevy a události se snaží napasovat do nějaké velké teorie, kterou vše vysvětlují. Oproti tomu lišky „vědí mnoho malých věcí“: jsou více flexibilní, shromažďují informace z co největšího množství zdrojů a vyjadřují se více v pravděpodobnostech než v jistých soudech.
Pro ilustraci, kognitivní styl měřil Tetlock položkami jako „Nemám rád otázky, na které lze odpovědět mnoha způsoby“ nebo „Když zvažuji nějaký problém, dokážu vidět, jak by obě strany mohly mít pravdu.“ Nejde samozřejmě o nějaké dvě jasně oddělitelné skupiny lidí, ale o spektrum s mnoha úrovněmi, o skupinách se mluví kvůli zjednodušení.
Nicméně tento ukazatel byl nejsilnějším prediktorem toho, jak přesné předpovědi účastníka budou: váhavé lišky byly v průměru přesnější než náhoda, sebejistí ježci nikoliv. Závěry Tetlockovy studie tedy netvrdí, že všichni experti jsou k ničemu nebo že budoucí události nelze vůbec předpovídat. Spíše poukazovaly na to, že zaprvé o přesnosti prognóz víme jen málo, jelikož jsou často neurčité a nikdo jejich přesnost nezkoumá, a za druhé někteří lidé mohou být v předpovídání lepší než jiní, ale takové lidi do televize nejspíš nikdo nepozve.
Hledání lepších prognóz
Zatímco média žádný zvláštní zájem na přesnosti prognóz nemají, existují oblasti, kde je naopak extrémně důležitá. Jednou takovou oblastí je práce výzvědných služeb. Zprávy rozvědky tvoří podklad, který pomáhá čelním představitelům států dělat významná rozhodnutí s dalekosáhlými následky. Příkladem může být nechvalně proslulá zpráva americké výzvědné komunity (označení zahrnující asi 16 výzvědných agentur včetně CIA a NSA) o přítomnosti zbraní hromadného ničení v Iráku.
Toto pochybení zpravodajských služeb prý velkou měrou přispělo ke snahám o změny, zejména co se týče procesu vytváření podobných zpráv. V roce 2006 tak vznikla agentura IARPA, výzkumný ústav americké výzvědné komunity, která měla za úkol financovat neotřelé projekty, které by mohly schopnosti zpravodajců zlepšit. O čtyři roky později pak oslovila i Philipa Tetlocka s novým výzkumem: sérií prognostických turnajů. (Tetlock o celém projektu a dalších studiích na něm postavených napsal knihu Superprognózy: Umění a věda předpovídání budoucnosti.)
V turnajích se utkalo několik týmů výzkumníků, kteří měli za úkol shromáždit prognostiky a vyvinout postupy, které jim pomohou dosáhnout co nejlepších výsledků. Otázky, kterými se zabývali, byly obdobné těm, které musí řešit právě zpravodajská komunita. Týkaly se tedy nejrůznějších geopolitických a ekonomických událostí. Důležité bylo, že otázky a možné odpovědi byly vždy stanoveny jasně a konkrétně a úsudky účastníků se tak daly přesně posuzovat. K tomu bylo potřeba i to, aby tyto úsudky byly co nejexaktněji kvantifikovány: ke každé odpovědi tak prognostik přiřazoval pravděpodobnost s přesností až na jednotky procent.
Taková přesnost rozhodně není pravidlem, ale Tetlock ji velmi silně prosazuje. Snižuje totiž na minimum vágnost predikcí, která dává prostor se „pojistit“, často znemožňuje interpretaci a hlavně spěje k nedorozuměním. Před nechvalně proslulou (a neúspěšnou) invazí v zátoce Sviní prý dostal prezident Kennedy informaci, že invaze má „solidní šanci“ (fair chance) na to, že se vydaří. Až posléze vyšlo najevo, že každý si pod touto frází představil jinou pravděpodobnost, od 20 až do 80 procent. Od té doby došlo samozřejmě ke změnám, ale stejně se často využívá například jen pěti nebo sedmistupňová škála pravděpodobnosti.
Neobvyklá soutěž trvala čtyři roky, během kterých se tisíce účastníků snažily co nejpřesněji předpovědět složité události: „Vypálí Severní Korea novou raketu před 10. květnem 2014? Vstoupí vojáci Ruské federace na území města Charkov na Ukrajině před 10. květnem?“ Své předpovědi mohli lidé v průběhu času upravovat a měnit na základě nových informací a pokračujícího výzkumu. Tetlockův přístup, nazvaný Good Judgement Project, v celém turnaji zvítězil. Předpovědi jeho nejlepších prognostiků byly tak dobré, že dokonce prý o 30 % překonaly i analytiky tajných služeb s přístupem k utajovaným informacím. Kdo tak nečekaně přesné předpovědi stanovoval? Například šedesátiletá lékárnice z malého městečka ve státě Maryland, Elaine Richová.
Moudrost davů?
Turnaje se totiž účastnili „obyčejní“ lidé nejrůznějšího vzdělání, profese nebo věku. Neměli přístup k žádným neobyčejným informacím, musel jim stačit Google. Přesto však řada z nich dosáhla opravdu překvapivé přesnosti ve svých předpovědích, čemuž pomohla řada postupů Tetlockova týmu.
První věcí, která odhady zlepšovala, byl trénink. Prognostici, kteří prošli základním kurzem, jak u sebe rozpoznat některá kognitivní zkreslení a bojovat proti nim, a zároveň byli poučeni o základech pravděpodobnosti, měli v průměru o 10 % přesnější výsledky než kontrolní skupina bez tréninku. Dále týmy prognostiků vykazovaly u svých členů lepší výsledky, než měli prognostici pracující „na vlastní pěst“.
S těmito prvky však pracovaly i konkurenční týmy. Good Judgement Project k nim přidal i zprvu velmi kontroverzní postup, kdy v každém roce identifikoval 2 % nejlepších prognostiků a z nich udělal týmy „superprognostiků“. Ti o svém „super“ statusu věděli, což právě vedlo řadu odborníků, se kterými byl tento nápad konzultován, ke skepsi. Někteří psychologové čekali, že zpychnou a jejich následné předpovědi budou příliš sebevědomé a nepřesné. Naopak jiní tvrdili opak: vyselektují se ti s nejvhodnějšími vlastnostmi a ve spolupráci se jejich schopnosti ještě umocní. Navíc jim měl nahrávat i fenomén sebenaplňujícího se proroctví: označení za výjimečné povede i k výjimečným výkonům.
Nakonec byl výkon superprognostiků opravdu přesvědčivý a o poznání lepší než u ostatních. Zatímco u zbylých účastníků, i těch nadprůměrných, došlo ve druhém roce ke zhoršení (regresi k průměru), u „supers“ tomu tak nebylo. Ti z týmů superprognostiků vytvářeli ve druhém roce ještě lepší předpovědi než v tom prvním a vysokou úroveň si udrželi i nadále. Přesnější byly dokonce i jejich předběžné, původní předpovědi bez přípravy.
Superpřesní Pohled na standardizované skóre ukazuje převahu superprognostiků, kteří byli nejlepší už v prvním roce. Označeni za „super“ a rozděleni do příslušných týmů však byli až v roce druhém, a jak je z grafu zřejmé, vedlo to u nich k ještě lepšímu výkonu, zatímco u ostatních docházelo k regresi k průměru.  Superprognostici byli přesnější i v původních odhadech stanovených ještě předtím, než byl čas zjišťovat si více informací. Jejich um tedy nespočíval jen ve větším nasazení a poctivějším výzkumu. |
To je obzvlášť přesvědčivé vzhledem k tomu, jak přísným způsobem byla přesnost poměřována. Bylo k tomu využito Brierova skóre – umocnění rozdílu mezi předpovědí a skutečným výsledkem. Vznikne tak číslo mezi 0 a 2. Čím nižší je Brierovo skóre, tím blíž byla předpověď skutečnému výsledku. Tento ukazatel je dobrý v tom, že ho stejně ovlivňuje nadhodnocení i podhodnocení: příliš sebevědomé předpovědi povedou ke špatnému skóre, ale příliš opatrné taktéž. Nízkého (a tedy nejlepšího) skóre dosáhnou jen ti, co jsou konzistentně přesní. To znamená nebát se předpovídat přes 90 %, když je důvod věřit, že událost opravdu nastane, ale stejně tak vědět, kdy si nemůžeme být tak jisti a podobný odhad by nám mohl skóre značně pokazit – 93 % u události, ke které nedojde, nám celkové skóre pošramotí o hodně víc než odhad 46 %. Náhodným hádáním nebo přiřazováním stejné pravděpodobnosti všem možnostem dostaneme skóre 0,5.
To je tedy číslo, které průměrný odborník z prvního Tetlockova výzkumu jen stěží překonal. Oproti tomu jeden z nejúspěšnějších superprognostiků dosáhl v prvním roce skóre 0,22 což je vzhledem k obtížnosti otázek velmi dobrý výsledek. Po přiřazení do „supertýmu“ se stal na konci druhého roku turnaje vůbec nejlepším prognostikem s celkovým skóre 0,14. To se už blíží nedosažitelné nule, která by znamenala vševědoucnost. Jmenuje se Doug Lurch a je to bývalý programátor pro IBM, dnes už důchodce žijící v Santa Barbaře.
Zde je vidět, jak byli superprognostici citlivější při stanovování předpovědí. Např. u první otázky byl kurz eura vůči dolaru 1,37. Překročení hranice 1,38 tedy bylo o dost pravděpodobnější než u 1,40. Odhady superprognostiků se proto také u těchto dvou znění markantně lišili, zatímco u kontrolní skupiny činil rozdíl jen 9 procentních bodů.
Kdo jsou superprognostici
Tetlock tedy turnaj vyhrál díky kombinaci přístupů, které vedly k vytvoření týmů superprognostiků, kteří pak produkovali velmi přesné předpovědi. Ale proč byli někteří „super“ a jiní tolik ne? Jinými slovy, co spojuje Elaine Richovou, Douga Lurche a desítky dalších superprognostiků? Odpověď není tak úplně jednoduchá, ale dá se shrnout stejně jako rozdíl mezi ježky a liškami: není to jedna velká věc, ale mnoho malých věcí.
Fluidní inteligenceVychází z rozdělení inteligence na fluidní a krystalickou, se kterým jako první přišel psycholog Raymond Cattell. Fluidní inteligence je pojímána jako schopnost řešit problémy bez ohledu na předchozí znalosti. Jde tak o schopnosti analyzovat nové problémy a vyvozovat vzorce a vztahy mezi nimi. Typicky jde např. o logické uvažování. Se stářím se snižuje. Krystalická inteligence je oproti tomu souhrnem naučených znalostí a dovedností a schopnost je využívat. Vzniká aplikací fluidní inteligence v nových situacích. Se vzrůstajícím věkem a zkušenostmi tedy zpravidla narůstá. |
Všichni účastníci turnaje se podrobili řadě psychologických testů s cílem zjistit, které jejich charakteristiky korelují s přesností předpovědí a ve kterých vynikají superprognostici proti ostatním. Měřeny byly údaje jako fluidní inteligence, politické znalosti, kognitivní styl a další. Zároveň byly zkoumány rozdíly v tom, jak často kdo upravuje své předpovědi nebo například komunikuje s ostatními na fórech projektu. Jednou z otázek totiž bylo, zda jsou superprognostici tak dobří díky osobním dispozicím (inteligence, osobnost), nebo zda se jedná o naučenou schopnost.
Na vliv dispozicí by mohla ukazovat například inteligence, která zřejmě význam má. Superprognostici měli fluidní inteligenci nadprůměrnou a převyšovali v tomto ukazateli ostatní účastníky. Nejednalo se však o geniální lidi, kteří by skórovali úplně jinde než ostatní. Nedá se tedy tvrdit, že by za přesností prognóz stála pronikavá inteligence. Mnohem větší rozdíly byly k nalezení například u pracovního nasazení: superprognostici četli v průměru i čtyřikrát či pětkrát více zpráv a podobně aktivní byli i na fórech, kde se radili s ostatními. Korelace těchto ukazatelů s přesností předpovědí byla přitom podobně jako u inteligence nízká (ale statisticky významná).
Proč jsou tak super? Ve snaze zjistit, co odlišuje superprognostiky od ostatních, měřili autoři nejrůznější údaje. Signifikantně odlišné výsledky jsou tučně. Superprognostici převyšují v průměru ostatní ve většině ukazatelů, rozdíly však často nejsou příliš velké. Asi největší rozdíly jsou v angažovanosti: množství otevřených zpráv nebo komentářů na fórech.  Tabulka korelací jednotlivých ukazatelů s přesností prognóz. Je vidno, že vlastnosti, ve kterých superprognostici převyšují ostatní, také vedou k přesnějším prognózám. Ačkoliv jsou všechny korelace statisticky signifikantní, jsou také nízké. Každá z nich tedy ovlivňuje přesnost jen málo a úspěch superprognostiků tak zřejmě tkví v kombinaci všech těchto faktorů. |
Stejně tomu tak bylo u většiny ukazatelů. V naprosté většině z nich skórovali superprognostici výše než ostatní, rozdíly ale nebyly nutně velké. S přesností předpovědí souviselo velké množství těchto faktorů, ale jen málo. Nedá se tedy určitě jedna věc, nebo ani několik věcí, které za úspěchem stojí. Průměrný superprognostik má vyšší fluidní inteligenci než ostatní, ale ne nutně o tolik. Dokáže si lépe uvědomovat vlastní kognitivní omyly a rozumí číslům, nemusí však zdaleka být skvělý matematik. Má dobrý všeobecný rozhled a je otevřený novým informacím. Stanovuje prognózy „jemněji“, nepracuje u procent jen s násobky deseti nebo pěti. Je motivovaný snahou být v předpovědích lepší než ostatní, čte více zpráv a častěji debatuje a porovnává své úsudky s ostatními. Jinými slovy: je toho hodně.
Většinu faktorů se však můžeme naučit. Jinými slovy, i když třeba nikdy nebudeme „superprognostiky“, každý z nás může své prognostické schopnosti značně zvýšit. Stačí se naučit rozpoznávat zkreslení, sbírat informace z různých zdrojů a sledovat přesnost svých předpovědí a učit se z neúspěchů. Právě tyto dvě poslední věci považuje Tetlock za to vůbec nejdůležitější: aby byla vůbec možnost zlepšení, je nutné mít zpětnou vazbu a učit se z ní.
K čemu nám jsou lepší predikce
Nakolik si z těchto zjištění vzaly poučení tajné služby a zapracovaly je do praxe, se asi jen tak nedozvíme. Ovšem možnosti využití dobrých prognóz, byť omezených na relativně blízkou budoucnost 1,5 - 2 let, jsou mnohem širší. Tetlock nabízí postupy, jak s jejich pomocí zlepšit fungování firem.
Možná nečekané využití je i v neziskovém sektoru. Server Guardian píše o snaze humanitárních organizací v zemích zasažených konflikty zvýšit svou efektivitu právě zapojením superprognostiků. Dostat pomoc na potřebné místo totiž zabere dost času a často tak tedy přichází až pozdě. Například během hladomoru v Somálsku mezi roky 2010-2012 zemřelo až 260 tisíc lidí, přičemž celá polovina prý ještě v době, kdy se informace o nedostatku jídla nestačily dostatečně rozšířit. Předpověď blížících se potíží tedy mohla vést ke včasné přípravě na situaci a zachránit desetitisíce životů.
Sám Tetlock si hlavní přínos svého výzkumu představoval v tom, že by mohl změnit diskurz v politice podobně jako nástup kontrolovaných studií změnil medicínu. Důkaz, že přesnost předpovědí lze měřit a porovnávat, měl vést k tomu, že debata o politice bude více založena na důkazech a číslech a méně na prázdných prohlášeních a ideologii. „Uvědomuji si, že tento nápad zněl naivně už v roce 2005 a v hyperpolarizované atmosféře roku 2017 zní možná zcela pomateně,“ píše autor, který si však ponechává optimismus. „Ale i s rizikem, že budu znít jako jeden z Ježků-prognostiků, který čeká na Godota, si myslím, že je to dobrý nápad, jehož čas jednou nastane.“
