Dat ding van Motivaction is niet eens fout
In achtergronden door Orhan Agirdag op 18-11-2014 | 14:13
Tekst: Orhan Agirdag
Wanneer natuurkundige Wolfgang Pauli naar zijn mening werd gevraagd over een paper dat zeer vaag was en heel wat methodologische tekortkomingen had, was zijn fameuze repliek hierop: ‘Das ist nicht einmal falsch’ (Dat is niet eens fout). Want alle onderzoeken kunnen fouten bevatten. Het ‘ding’ dat voorgesteld is door marketingbureau Motivaction is inderdaad niet eens fout. Ik spreek hier bewust over het ‘ding’, want hoe noem je iets dat 80% procent van de Turkse Nederlanders als ISIS-fanaten voorstelt? Zeker geen onderzoek, en al zeker geen wetenschappelijk verantwoorde studie. Dat het ding toch uitvoerig behandeld wordt door de Nederlandse media, wijst uit hoe data-ongeletterd we zijn.
Om het predicaat 'wetenschappelijk' te verkrijgen, dient een studie immers op zijn minst te voldoen aan de drie R’s: repliceerbarheid, representativiteit, en betrouwbaarheid (van Engelse reliability). Het ding van Motivaction beantwoordt niet eens aan één van deze drie criteria.
Repliceerbaarheid
Repliceerbaarheid betekent dat resultaten van een studie min of meer repliceerbaar moeten zijn door andere studies. Als er afwijkingen zijn, moeten deze verantwoord worden. Wat Diederick Stapel uiteindelijk nekte was de onmogelijkheid om zijn bevindingen te repliceren. Het is zeer onwaarschijnlijk dat de bevindingen van Motivaction gerepliceerd kunnen worden. Tot op vandaag is de bevinding van bijna alle wetenschappelijke studies dat Moslims geen enkele jihadistische beweging steunen. Integendeel, iedere serieuze onderzoek (zoals met de grootschalige COOL-studie) wijst uit dat burgerschapswaarden en geloof in democratie net sterker zijn bij allochtonen jongeren dan bij autochtonen.
Representativiteit
Een steekproef van een wetenschappelijk studie dient ook (minimaal) representatief te zijn voor de populatie waarover uitspraken gedaan worden. Zeker wanneer er verregaande veralgemeningen gemaakt worden zoals in het ding van Motivaction. Ook doorslaggevend is waar de respondenten gevonden zijn. Bijvoorbeeld, wanneer een studie wil nagaan hoe positief Nederlanders over prostitutie denken, is het een slechte idee om de respondenten te ronselen aan de Wallen. Waar heeft Motivaction zijn respondenten dan geronseld? De auteurs zijn heel onduidelijk hierover: bij de moskee ’s, theehuizen,…. Er is dus geen enkele indicatie wat de kans van opname in de studie was. Het ding van Motivaction geeft dan ook toe dat het niet gaat om een representatieve studie. Dit zou zogezegd onmogelijk geweest zijn wegens analfabetisme onder de populatie. Bitch please, het gaat hier over respondenten die maximaal 34 jaar oud zijn: analfabetisme is onbestaande in deze groep. Maar dat de auteurs een degelijke stelling kunnen neerpennen, bewijst dat ze in feite niet geschikt zijn om het onderzoek te voeren.
Betrouwbaarheid
Elk onderzoek die naam waardig dient ten slotte betrouwbaar te zijn. Een niet betrouwbaar onderzoek is vergelijkbaar met een weegschaal die telkens een ander resultaat geeft wanneer je erop staat. Om de betrouwbaarheid te garanderen gebruiken onderzoekers meestal gestandaardiseerde vragenlijsten. Dit betekent dat er eerst heel wat onderzoek verricht wordt over de vragen die gesteld worden. Dit om zeker te zijn dat datgene wat gevraagd wordt ook datgene is dat men wou meten. In het ding van Motivaction is er geen enkele indicatie over betrouwbaarheid van de vragen. Sterker nog, de onbetrouwbaarheid valt onmiddellijk af te leiden van de interne inconsistenties van de resultaten. Zo zouden de respondenten massaal tegen het kalifaat zijn, maar toch IS steunen. Dit is vergelijkbaar met een weegschaal die je eerst anorectisch en vijf minuten later obees verklaart.
Marketing
Dat de repliceerbaarheid, representativiteit en betrouwbaarheid van het ding van Motivaction twijfelachtig is, staat vast. Maar er is wellicht meer aan de hand. Zo wil ik de auteurs aanraden om te controleren of de interviewers effectief de interviews hebben afgenomen. Want bij dit soort studies gebeurt het wel eens dat de resultaten niets anders zijn dan de fantasieën van de interviewers. Ik zou ook begrip hebben voor deze interviewers. Want wie wilt er nu met gênante vragen zoals ‘steun je het doden van ongelovigen’ naar een moskee of een theehuis gaan?
Moeten we verwonderd zijn? Nee. Wanneer je een studie bestelt bij een marketingbureau, dan krijgen de drie P’s van de marketing (prijs, plaats en promotie) voorrang op de drie R’s van de wetenschap. Het product is dan goedkoop, de bevindingen sensationeel, maar het uiteindelijke resultaat is de figuurlijke ‘branding’ van bepaalde groepen in de samenleving. Meer data-geletterdheid is nodig om te voorkomen dat dergelijke producten een impact hebben op de samenleving.
Orhan Agirdag studeerde Sociologie aan de KU Leuven en promoveerde in 2011 met een onderzoek naar de gevolgen van schoolsegregatie in Vlaanderen. Hij doceert nu onderwijsbeleid aan de Universiteit van Amsterdam doet onderzoek naar meertaligheid in het onderwijs. DIt stuk verscheen eerder op zijn blog en is in overleg ook op Republiek Allochtonië geplaatst.
Lees ook:
Beschouw Turkse organisaties niet als probleem, maar als bondgenoten (Nico Landman en Thijl Sunier)
Integratie Turkse Nederlanders blijft hoog op de agenda staan (Roemer van Oordt en Ewoud Butter)
Meer over het debat over de integratie van Turkse Nederlanders op dit blog: hier
Volg Republiek Allochtonië op twitter of like ons op facebook.
Waardeert u ons vrijwilligerswerk? U kunt het laten blijken door een bijdrage over te maken op rekeningnummer NL12INGB0006026026 ten name van de stichting Allochtonenweblog te Amsterdam. Met een donatie van 5 euro zijn we al blij. Meer mag ook!
Meer over Forum, integratie, Motivaction, onderzoek, Orhan Agirdag, Turks, turkse nederlanders.
