Het luchtruim boven het oostelijk deel van Oekraïne had vorig jaar zomer gesloten moeten zijn. Maar dat was het niet, en passagiersvlucht MH17 werd neergeschoten door een Boekraket. „De risico’s zijn niet adequaat ingeschat”, zei voorzitter Tjibbe Joustra van de de Onderzoeksraad voor Veiligheid. „Iedereen dacht dat het veilig was.” Die verkeerde inschatting kostte bijna driehonderd mensen het leven.
Of neem, wat de Amerikaanse psycholoog Philip Tetlock (University of Pennsylvania, Philadelphia) „een van de ergste blunders in de geschiedenis van de inlichtingendiensten” noemt. In 2002 zei de Amerikaanse intelligence community (bestaande uit de CIA en 15 andere instanties) zeker te weten dat Irak over massavernietigingswapens beschikte. De Verenigde Staten vielen Irak binnen. Die massavernietigingswapens zijn, zoals bekend, nooit aangetroffen.
Mensen die twijfelen voorspellen veel beter dan zelfverzekerde mensen
Achteraf is het makkelijk om van verkeerde voorspellingen, zoals deze, te beweren dat die simpelweg oerdom waren. Maar kúnnen mensen wel beter leren voorspellen? Ja, schrijft Tetlock in zijn pas verschenen boek Supervoorspellers, op basis van zijn eigen onderzoek. Maar dan moeten ze het grondig en wetenschappelijk aanpakken.
Tetlocks onderzoek behelst twee omvangrijke studies naar voorspellen. Met de eerste begon hij al in de jaren 80; hij deed er eerder verslag van in in zijn academische boek Expert Political Judgment (2005). Tetlock rekruteerde 284 ‘experts’: mensen die voor hun werk (waarin ze gemiddeld ruim 12 jaar ervaring hadden) politieke en economische ontwikkelingen moesten analyseren. De deelnemers deden gedurende een aantal jaren in totaal 28.000 voorspellingen over onderwerpen binnen en buiten hun specifieke expertisegebied. Bij sommige vragen was het tijdsbestek wel vijf of tien jaar. En uiteindelijk bleek dat de gemiddelde expert geen betere voorspellingen deed dan, zoals Tetlock het formuleerde, „een chimpansee die met dartpijltjes gooit”.
Maar sommige mensen deden het wel beter dan andere. Hoe beroemder de experts waren, bijvoorbeeld, hoe slechter ze het deden. Dat komt, volgens Tetlock, doordat de media graag heldere, straightforward verhalen optekenen of uitzenden, niet van twijfelkonten maar uit de mond van zelfverzekerde mensen. En dat zijn meestal mensen die zich laten leiden door grote ideeën, grote ideologieën. Maar naarmate meer van zulke types aan het onderzoek deelnamen, zaten de voorspellingen er vaker naast. Aan mensen die maar één trucje kennen (‘egels’, zoals Tetlock hen noemt), heb je qua voorspellen weinig. Mensen die wél twijfelen, die dus flexibel zijn en veel verschillende mogelijkheden onderzoeken (Tetlock noemt hen ‘vossen’), deden het veel beter.
Slimme vossen
Voor zijn tweede grote studie haakte Tetlock aan bij het Amerikaanse inlichtingen-onderzoeksbureau IARPA (Intelligence Advanced Research Project Activity). Na het debacle met de massavernietigingswapens organiseerde IARPA in 2006 een geopolitiek voorspellingstoernooi voor onderzoeksteams, met voorspellingen voor maximaal een jaar. Tetlocks groep van duizenden vrijwilligers, mensen die wel zin hadden om „de toekomst van de wereld te voorspellen”, won zelfs van de inlichtingendiensten die over geheime informatie beschikten. Hoe? Tetlock liet zijn vrijwilligers individueel voorspellingen doen, keek wie daar het beste in waren en kende vervolgens meer gewicht toe aan de voorspellingen van die ‘supervoorspellers’. Een speciale groep, waar wel wat verloop in was, maar waarvan 70 procent blééf toen het onderzoek doorging, was jaar in jaar uit supervoorspeller. Tetlock kent er nu een paar honderd.
Die slimme vossen waren trouwens niet perse geniaal. De vrijwilligers die zich hadden aangemeld hadden meer intelligentie en kennis dan 70 procent van de bevolking, de supervoorspellers meer dan 80 procent van de bevolking. Maar de supervoorspellers hanteerden wél betere strategieën (zie inzet ‘Zelf supervoorspeller worden’).
En het kan nóg beter. In vervolgonderzoek zag Tetlock dat teams van voorspellers (die elkaar niet ontmoetten, maar mailden) 23 procent nauwkeuriger voorspelden dan eenlingen. En een team van twaalf supervoorspellers deed het gemiddeld zelfs 50 procent beter dan een losse supervoorspeller. De teamleden hadden dan wel allemaal van te voren informatie over groepsdynamica gekregen, onder meer over het gevaar van groepsdenken (waarbij groepsleden vergeten kritiek op elkaar te leveren). Waarschijnlijk konden die teams meer uiteenlopende informatie bij elkaar krijgen. Of er zaten mensen bij die nieuwe informatie zó konden uitleggen en presenteren, dat anderen hun voorspelling op basis van die uitleg beter bijstelden.
Tetlock onderzoekt momenteel of zulke ‘superaangevers’ bestaan. En of er ‘supervraagstellers’ bestaan: mensen die vragen stellen die het überhaupt wáárd zijn om een voorspelling over te doen, vragen waar je zelf op had willen komen. Hij vermoedt dat daar de ‘egels’, met hun grote ideeën, de ‘vossen’ weleens zouden kunnen verslaan. Maar of die voorspelling uitkomt, zullen we moeten afwachten.