Gesjoemel met cijfers. Vervalste uitkomsten. Zijn het wetenschappers die niet deugen of is de deugdelijkheid van DE wetenschappelijke methode in het geding.

Naar aanleiding van de affaire Stapel schrijft Ben Emans over een interessant bij-effect van de door betrokken wetenschappers gevolgde methode: Onderzoekers en auteurs publiceerden over mensen die ze nooit gezien hadden en waarvan ze niet eens in de gaten hadden dat die mensen niet bestonden. Opmerkelijk nietwaar.

Er zijn meer ‘bij-effecten’.

Nut en toepasbaarheid

De relevantie voor de praktijk is bedroevend laag. Dit is nauwelijks meer een bij-effect te noemen omdat het zo vaak voorkomt. Ik kom veel psychologen tegen in de praktijk van advieswerk, training en opleiding. Ik heb nooit iets gemerkt van enige interesse in de A-tijdschriften waarin de top van psychologische wetenschappers publiceert. Is dit beperkt tot de psychologie? Welnee, dit verschijnsel strekt zich uit tot het hele veld van menswetenschappen inclusief de management-wetenschappen. Godfroij signaleert in zijn afscheidscollege ‘De kloof tussen theorie en praktijk’ dat de toegevoegde waarde van de management-wetenschappen voor de praktijk gering is. Godfroij wijt dit aan de door de natuurwetenschappen geïnspireerde methode van wetenschapsbeoefening; een mathematische benadering met een stevig gebruik van statistiek om relaties tussen meetbare variabelen op te sporen. Dezelfde methode die psychologen en andere mens-wetenschappers moeten volgen om hun werk in de toptijdschriften gepubliceerd te krijgen.

Tellen is niet alles

Als er iets geteld kan worden, dan moeten we dat zeker doen maar het is een ernstige misvorming van het wetenschappelijke bedrijf om de mathematische methode als DE methode te blijven cultiveren. De zogenaamde toptijdschriften die deze methode huldigen, zijn bij praktijkmensen onbekend. Terecht; ze zouden er niets aan hebben. Het idee dat vroeg of laat ons een rijke oogst aan toepassingen toevalt is een fantasie gebleken.

Deze situatie is al lang bij insiders bekend. Maar tja, de macht om wetenschappelijke carrieres te maken en te breken is veelal in handen van mensen die zelf hun sporen hebben verdiend met DE methode.

Knoeien met cijfers gemakkelijk en verleidelijk

Dit brengt mij op een derde effect inhaerent aan de methode: Knoeien met cijfers en statistische uitkomsten is gemakkelijk. Het is bovendien verleidelijk omdat onderzoekers met interessante uitkomsten willen komen. Want de kans dat je aandacht krijgt en dat jouw artikel geplaatst wordt neemt toe.

Het is extra verleidelijk omdat de morele en ethische barrieres om dit niet te doen onder druk staan. Immers de scepsis over de mathematische methode is ook onder wetenschappers groot. Herhaaldelijk raakte ik op bijeenkomsten van de Academy of Management in de VS in gesprek met wetenschappers die vertelden hoezeer ze in het keurslijf van de statistiek worden gemangeld en hoe de praktische waarde van hun bezigheden daaronder te lijden heeft. Maar ja … om een aanstelling te krijgen of te houden aan de universiteit en om in een A-tijdschrift je resultaten gepubliceerd te krijgen moeten ze wel. Welnu, als je het idee hebt dat je gedwongen wordt met een ‘pruts-methode’ te werken dan is het niet zo’n grote stap om met zo’n pruts-methode verder te prutsen. En zo begint dan het gesjoemel.

Gepruts en gesjoemel

Zijn er indicaties dat dit op grote schaal gebeurt? Een paar citaten uit een recent artikel van Karel Berkhout in NRC. 11-11-11. De kop PSYCHOLOOG WIL GEEN POTTENKIJKERS doet meteen al het ergste vrezen.

“De meeste psychologen laten hun werk niet controleren”, zegt psycholoog Jelte Wicherts. “Ze stellen hun onderzoeksgegevens niet ter beschikking van collega’s. “Die onwillige psychologen zijn bang dat heranalyse van de data de conclusies van hun onderzoek onderuit haalt.” Om dit vermoeden te toetsen heeft Wicherts de (1.148) onderzoeksresultaten in 49 wetenschappelijke artikelen van onwillige auteurs in twee toonaangevende psychologietijdschriften aan een heranalyse onderworpen. In de heranalyse gebeurde dat in 7 van de 49 artikelen. “De gevonden fouten zijn de top van de ijsberg van mogelijke fouten en vooringenomenheid in de statistische analyses en de rapportage van statistische resultaten”, schrijven de onderzoekers.

De situatie in de VS wordt als volgt samengevat: ‘TWEEDERDE VAN DE PSYCHOLOGEN SCHRAPTE ONWELKOME RESULTATEN’ “Drie wetenschappers, onder wie Leslie K. John van Harvard Business School, hebben ongeveer 2.000 universitaire psychologen ondervraagd. Een groot aantal gaf toe zich wel eens schuldig te maken aan ‘betwistbare onderzoekspraktijken’. Dat varieert van relatief lichte vergrijpen zoals het weglaten van onwelkome meetresultaten (66 procent van de ondervraagden) tot het vervalsen van onderzoeksgegevens à la Stapel (1,7 procent).”

Enfin, de regels voor wetenschappelijk onderzoek worden nu verder aangescherpt evenals de controles. Meer van hetzelfde dus.

Vrijheid van wetenschapsbeoefening

Volgens mij is het veel beter om kritisch te kijken naar DE methode. Niet alleen vanwege de triviale uitkomsten maar ook omdat de vrijheid van wetenschaps-beoefening in het geding is. Een vierde ongewenst effect dus. Hou je je niet aan de methode dan kom je niet in de A-tijdschriften en wordt je wegbezuinigd! Wordt het zo hard gespeeld? Wis en waarachtig! Ook in NL? Zeker, zie ‘Stop de bonentellers aan de UvA’.

Het wordt tijd om andere methoden in ere te herstellen. Bijvoorbeeld meer kwalitatieve methoden, op basis van casemateriaal en historische ervaringen. Ervaringen en cases laten patronen zien. Van patronen kun je veel leren. In de bedrijfswetenschappen liggen de ervaringen en cases voor het opscheppen. Ik denk aan vraagstukken als de besturing van organisaties, organisatieontwerp, projectmanagement, leidinggeven, verandermanagement, communicatieverbetering.

Patronen laten zien wat kennelijk werkt en wat niet. Als deze ‘lessons learned’ herkend worden en overeind blijven in het praktische gebruik en in de onderlinge uitwisselingen tussen professionals, dan beginnen we steeds betere inzichten en handvatten in handen te krijgen. Hierin kunnen wetenschappers een veel grotere rol spelen. Dat betekent dat een academische onderzoeker veel meer aandacht besteedt aan de dialoog met  gebruikers. Niet alleen om ze te informeren maar om de vondsten te valideren en de opgedane kennis verder te ontwikkelen. De controleerbaarheid van de vondsten moet zich uitstrekken tot en met gebruikers en geïnteresseerde professionals.

Sociaal leerproces

Zelfs de beste ervaringen en inzichten verpieteren in sociaal isolement. Waar men niet over leest of praat, wordt ook niet toegepast! Kennis over beter managen en organiseren komt pas tot wasdom in een sociaal en collectief leerproces.

De nieuwe media spelen hierbij een belangrijke rol. Ervaringen uitwisselen, op een tot voor kort ongekende schaalgrootte, is een belangrijke impuls voor de verspreiding en verdere ontwikkeling van onze kennis. Is bovendien de toets of deze kennis herkend wordt door ‘communities of practitioners’ en of het werkt in de praktijk nou net niet de toets waarom het gaat?

Mijn wens is dat wetenschappers hun energie veel meer richten op het ondersteunen en versnellen van dergelijke collectieve leerprocessen. Laten we de management- en bedrijfswetenschappen nuttiger en relevanter maken. Dat heeft volgens mij meer toekomst dan vasthouden aan DE methode.

Deze column werd ingezonden door Willem Mastenbroek. Heeft u ook iets wat u bezig houdt? Plaats uw eigen column ›