Sciencecheck · een verschil tussen twee groepen lezen
De bewering
"In dit onderzoek kwam de koolhydraatgroep 2,3 kg spiermassa aan, en de sojagroep maar 1,8 kg. De koolhydraatgroep deed het dus beter dan de sojagroep."
Twee getallen, de grootste wint. Zo klinkt het als een simpele optelsom.
Het onderzoek erachter liet mensen negen maanden lang krachttrainen. Iedereen kreeg er dagelijks een drankje bij: de ene groep maltodextrine (een koolhydraat uit zetmeel), de andere groep soja-eiwit. Daarna werd de spiermassa gemeten.
De twee getallen kloppen. De conclusie die eruit getrokken wordt niet. Deze pagina laat in vier stappen zien waarom je uit dit verschil van een halve kilo niets kunt afleiden.
Stap 1
Een gemiddelde is een samenvatting. Je perst 22 mensen samen tot één getal. Handig — maar er verdwijnt iets belangrijks: hoe ver die 22 mensen uit elkaar lagen.
En daar zit hier het probleem. Binnen één en dezelfde groep verschilden de deelnemers enorm. Sommigen kwamen meer dan 5 kg aan. Anderen verloren juist een beetje.
Zet dat eens naast het verschil tussen de twee groepen:
De mensen in dezelfde groep verschilden dus ruim drie keer zoveel van elkaar als de twee groepen van elkaar. Anders gezegd: pak twee willekeurige deelnemers uit dezelfde groep. Die schelen gemiddeld méér van elkaar dan de twee groepen van elkaar schelen.
Het verschil waar de bewering op leunt is dus kleiner dan de gewone variatie tussen twee willekeurige mensen.
Wat je zo gaat zien: de twee balken worden 44 losse mensen. Let op hoeveel de wolken over elkaar heen liggen.
Bijna geen enkel onderzoek meet iedereen. Je meet een klein groepje en neemt aan dat wat je daar ziet, ook geldt voor de rest. Dat heet met een moeilijk woord inferentiële statistiek. Het betekent: van klein naar groot afleiden.
Maar zo'n groepje is een toevallige greep. Had je 44 andere mensen geloot, dan waren de getallen anders geweest. Soms flink anders. Mensen verschillen nu eenmaal — de een bouwt makkelijk spier op, de ander nauwelijks.
Dus als je twee getallen ziet die verschillen, zijn er altijd twee verklaringen:
Statistiek is het gereedschap om die twee uit elkaar te houden. Niet door te bewijzen welke waar is — dat kan niet. Wel door te kijken of toeval genoeg is om te verklaren wat je ziet.
Kan toeval het makkelijk verklaren, dan heb je geen bewijs voor een verschil.
Stap 2
Onderzoekers pakken dit op een slimme manier aan. Ze nemen eerst aan dat er helemaal geen verschil is. Daarna kijken ze hoe goed hun meting dan nog bij die aanname past.
Hieronder doen we dat letterlijk. We bouwen een wereld waarin de twee drankjes precies even goed zijn. Geen enkel verschil — en dat weten we zeker, want we hebben die wereld zelf zo gemaakt.
Dan loten we 44 nieuwe mensen en doen het onderzoek opnieuw. En nog eens. En nog eens.
Let op: ook zonder enig echt verschil komen er verschillen uit. Elke keer weer.
Je hebt zojuist een p-waarde uitgerekend, zonder formule. Het derde vakje laat zien hoe vaak toeval alléén al een gat van 0,5 kg opleverde. Dat getal is hem: ongeveer 32%.
Lees precies wat daar staat. Stel dat er in het echt niets aan de hand is. Dan gebeurt wat dit onderzoek vond nog steeds in ongeveer één op de drie gevallen — vanzelf. Het is dus niet opvallend. Het is wat je verwacht.
De bewering ziet dus iets bijzonders in een verschil dat vaak vanzelf ontstaat.
Echte onderzoekers herhalen hun studie natuurlijk niet duizend keer. Ze rekenen dit uit met een formule. Die heeft maar drie dingen nodig:
Hoe groot is het verschil?
Hier 0,5 kg. Groter verschil, sterker bewijs.
Hoe ver liggen mensen uit elkaar?
Hier 1,6 à 1,7 kg. Meer spreiding, zwakker bewijs.
Hoeveel mensen deden mee?
Hier 22 per groep. Meer mensen, sterker bewijs.
De uitkomst is dezelfde als wat je hierboven zag gebeuren. De formule is alleen sneller.
Onderzoekers spreken pas van een resultaat als die kans onder de 5% ligt. Dan is toeval geen goede verklaring meer. Bij 32% is dat bij lange na niet gehaald.
Let op twee dingen die de p-waarde niet zegt. Het is niet de kans dat het effect echt bestaat. En het is niet de kans dat een volgend onderzoek hetzelfde vindt. Het is alleen dit: hoe goed passen deze metingen bij "er is niets aan de hand".
Stap 3
Tot nu toe zag je alleen dat toeval verschillen maakt. Maar hoe herken je er dan wél een die echt is? Zonder dat antwoord lijkt het alsof je nooit iets kunt weten. Dat is niet zo.
Zet de wereld hieronder om. In de tweede stand is het ene drankje écht beter — met 1,5 kg. Dat is geen verzonnen getal: het is precies de omvang van een effect dat in ditzelfde onderzoek wél werd aangetoond.
Verder blijft alles gelijk. Dezelfde spreiding tussen mensen, dezelfde 22 per groep, dezelfde loting. Doe dan opnieuw twintig onderzoeken.
Kijk niet naar één uitkomst. Kijk naar het gedrag over alle herhalingen heen. Springt de winnaar heen en weer, of blijft het steeds dezelfde?
Stap 4
Nu een vraag die bijna nooit gesteld wordt. En dat is jammer, want hij is misschien wel de belangrijkste van allemaal.
Tot nu toe keken we of het gevonden verschil echt kon zijn. Draai het nu eens om. Stel dat er wél een verschil van 0,5 kg bestaat — precies zo groot als het onderzoek mat. Zou dit onderzoek dat dan gezien hebben?
Hieronder bouwen we die wereld. Het verschil is er, en het is echt. Dan doen we honderd keer het onderzoek, met evenveel deelnemers als de echte studie had.
Elke plek in het raster is één onderzoek. Een volle stip betekent: het verschil gevonden. Een open ring betekent: gemist — terwijl het er wél was.
Dit verandert wat de uitkomst van het echte onderzoek betekent. Het vond geen verschil tussen koolhydraat en soja. Maar dat bewijst niet dat er geen verschil is.
Het onderzoek had te weinig deelnemers. Een verschil van deze grootte zou het meestal missen, ook als het er is. Bij 22 deelnemers per groep en deze spreiding is de kans daarop ongeveer 1 op 6.
Onderzoekers noemen dat de power van een studie: de kans dat je vindt wat je zoekt, áls het er is. Is die laag, dan zegt "wij vonden niets" vooral iets over het onderzoek, en weinig over de wereld.
Je zag misschien al iets vreemds. Ook bij 171 deelnemers mist het onderzoek het verschil nog in ongeveer 1 op de 5 keer. Waarom heet dat dan genoeg?
Omdat 171 geen natuurwet is. Het is het aantal dat je nodig hebt om dit verschil in 4 van de 5 onderzoeken te vinden. Dat doel spreken onderzoekers vooraf af, net zoals ze de 5%-grens afspreken.
Mikken op zekerheid kan wel, maar dat wordt snel duur:
deelnemers per groep, bij een echt verschil van 0,5 kg
Van 4-op-5 naar 99-op-100 gaan kost dus 800 mensen in plaats van 342. Allemaal negen maanden begeleid trainen. Ergens moet een grens liggen, en die ligt bij afspraak op 4 van de 5.
Ook dat getal is dus een keuze. Geen meting.
De bewering leunt volledig op één ding: dat het verschil van 0,5 kg iets betekent. Stap 2 liet zien hoe vaak toeval zo'n verschil vanzelf maakt: ongeveer één op de drie keer. Ook als de twee drankjes precies even goed zijn.
Dat bedoelen onderzoekers met "niet statistisch significant". In gewone taal: dit verschil is te klein tegenover het toeval om er een uitspraak op te bouwen.
En stap 4 liet zien dat het daar niet ophoudt. Stel dat het verschil van 0,5 kg wél echt was geweest. Dan nog had dit onderzoek het maar in ongeveer één op de zes keer gezien.
Op grond van dit onderzoek mag je niet zeggen dat de koolhydraatgroep het beter deed. Je mag net zo goed niet zeggen dat de sojagroep het beter deed. Beide richtingen blijven even goed mogelijk.
De eerlijke samenvatting is: tussen deze twee groepen is geen verschil aangetoond. Dat is iets anders dan "ze zijn even goed" — het onderzoek geeft geen antwoord op die vraag.
Een niet-significant verschil is dus geen zwak bewijs. Het is geen bewijs. Dat is een lastige boodschap, want het is geen antwoord. "Dit onderzoek weet het niet" haalt de krant niet. Maar het is wel wat er staat.
Er was nog een derde groep, die tot nu toe buiten beeld bleef. Die kreeg whey-eiwit en kwam 3,3 kg aan — anderhalve kilo meer dan de sojagroep. Dát verschil hield wél stand bij de toets.
En dat is precies het getal dat je in stap 3 zag gedragen als een echt verschil. Geen toeval: het ís dat effect.
Het onderzoek laat dus zien dat de soort eiwit uitmaakt. De bewering doet precies het omgekeerde. Zij pakt de enige vergelijking waar niets uit kwam. De vergelijking die wél iets opleverde, laat zij liggen.
Zie je twee gemiddelden naast elkaar met een verschil ertussen? Stel dan deze vier vragen.
Zonder die vier is een verschil tussen twee gemiddelden niet meer dan een gerucht met een cijfer erbij.
Verdieping
De hoofdlijn hierboven staat op zichzelf. Dit deel is voor wie wil weten waar die 5% en die 4-van-de-5 vandaan komen.
Let op dat je de 5% en die 4-van-de-5 niet door elkaar haalt. Er zit geen rekensom tussen. Ze gaan over verschillende situaties.
Zet die twee naast elkaar en er zit een oordeel in. Vals alarm mag 5 keer op de 100. Iets missen mag 20 keer op de 100. Een onterechte claim geldt dus als vier keer zo erg als een gemiste ontdekking.
Dat is te verdedigen. Een onterechte claim komt in de wereld en wordt nagevolgd. Iets wat je mist, kan een volgend onderzoek alsnog vinden. Maar ook dat blijft een keuze.
Alleen de eerste. "Statistisch significant" betekent letterlijk: de kans lag onder de 5%. Dat is de regel waarmee je één onderzoek beoordeelt.
De 4-van-de-5 komt in dat oordeel niet voor. Je leest nooit "niet significant, en de kans om het te vinden was 80%". Toch is dat tweede getal precies wat je nodig hebt om een uitkomst zonder verschil te kunnen lezen.
Daar zit de scheefheid. De regel voor "significant" bewaakt alleen het vals alarm. Over de kans dat je iets mist, zegt hij niets.
En daarom is "wij vonden geen verschil" zo'n zwakke uitspraak. Het systeem is gebouwd om voorzichtig te zijn met claimen. Niet om voorzichtig te zijn met missen.
En hier wordt het pijnlijk. Deze som maakten de onderzoekers vooraf. Ze kwamen uit op 17 deelnemers per groep.
Voor zo'n som moet je vooraf aannemen hoe ver mensen uit elkaar zullen liggen. Uit hun getal valt af te leiden dat ze rond de 0,5 kg zaten. Wat ze uiteindelijk maten was 1,6 à 1,7 kg. Meer dan drie keer zoveel.
Spreiding telt kwadratisch mee. Drie keer meer spreiding betekent dus ongeveer tien keer meer deelnemers. Reken hun eigen som opnieuw met wat ze werkelijk maten, en je komt uit op 171. Precies het getal hierboven.
Cijfers uit Volek e.a. (2013), Whey Protein Supplementation During Resistance Training Augments Lean Body Mass. Negen maanden begeleide krachttraining, drie groepen. Verandering vetvrije massa na 9 maanden: koolhydraat (maltodextrine) 2,3 ± 1,7 kg, soja 1,8 ± 1,6 kg, whey 3,3 ± 1,5 kg. Het verschil tussen de koolhydraat- en sojagroep was niet statistisch significant; whey verschilde wel significant van beide. De deelnemers op deze pagina zijn nagebootst op basis van het gemiddelde en de spreiding uit dat onderzoek, niet overgenomen als individuele meetpunten. Gemeten is vetvrije massa (lean body mass); op deze pagina staat kortheidshalve „spiermassa” — vetvrije massa omvat naast spierweefsel ook bot en vocht. Onderzoek gefinancierd door het Dairy Research Institute.