Deze toolbox ondersteunt je maatgericht bij kwaliteitsvol mediawerk. In het eerste deel vind je, afgestemd op je werk, concrete handvaten en checklists die je snel kan gebruiken. In een tweede deel vind je achtergrondinformatie voor grondig inwerken.
Er wordt heel wat gezegd en geschreven over eten, gewicht en gezondheid. Soms is dit gefundeerd door wetenschappelijke studies, soms iets minder gefundeerd. Maar zelfs wanneer wetenschappelijke studies worden aangehaald, worden er heel wat fouten gemaakt op het correct interpreteren van de resultaten en conclusies van deze studies.
Wees als mediamaker daarom steeds kritisch over wat er beweerd wordt. Deze rubriek geeft je graag handvaten bij het interpreteren van wetenschappelijke studies rond eten en gewicht. Op die manier kan je ook zelf altijd je bronnen checken en hang je niet af van de informatie die jou door jouw bronnen wordt toegestoken.
— De relatie tussen voeding en gezondheid is complex.
Het effect van een voedingsmiddel is moeilijk te isoleren van het effect van andere leefstijlfactoren.
— Het gewicht van een persoon zegt op zichzelf niets over de leefstijl of de gezondheidsstatus van deze persoon
Cijfers over gewicht zeggen niets over de leefstijl van een individu. Er zijn Vlamingen met een normaal gewicht die ongezond leven, net zoals veel personen met overgewicht wel een gezonde leefstijl hebben. Op individueel niveau blijkt leefstijl veel meer impact te hebben op gezondheidsrisico en mortaliteit dan gewicht.
— Een vragenlijst die screent op signalen geeft geen informatie over het aantal eetstoornisdiagnoses
Antwoorden op vragen zoals de prevalentie of de evolutie van eetstoornissen zijn afhankelijk van de gebruikte methode alsook de vragen- of screeningslijsten die in studies worden afgenomen. Een vragenlijst is geen diagnostisch instrument en geeft geen informatie over het aantal eetstoornisdiagnoses, alleen over het voorkomen van signalen of symptomen. Kijk dus steeds goed na welke vragenlijst/methode gebruikt werd om iets te zeggen over de prevalentie van eetstoornissen en rapporteer in overeenstemming met de gebruikte vragenlijst/methode.
— Een verband tussen twee variabelen wil niet noodzakelijk zeggen dat de ene variabele ook de andere veroorzaakt.
Zo kan een negatief lichaamsbeeld verstoord eetgedrag veroorzaken, maar evengoed kan verstoord eetgedrag de lichaamsvormen veranderen en zo een negatief lichaamsbeeld uitlokken, of versterken. Bovendien kan een derde factor (bv. een onderliggende depressie) een negatief lichaamsbeeld en verstoord eetgedrag uitlokken. Veel onderzoek gaat enkel over ‘correlaties’, verbanden die op éénzelfde moment gevonden worden. Om na te gaan of er een oorzakelijk verband is, dient de ene variabele de andere vooraf te gaan (longitudinaal onderzoek), en moet men zeker zijn dat het ‘effect’ niet door een andere variabele veroorzaakt kan worden. Bij Gezondheid en Wetenschapvind je meer informatie.
— Wat was de tijdsspanne waarin het effect van de interventie werd nagegaan?
Strikt gezien kan men enkel uitspraken doen over de effectiviteit van de interventie binnen de tijdsspanne waarin de interventie werd onderzocht. Bijvoorbeeld: Indien uit onderzoek blijkt dat vermageringsdieet X na 6 maanden leidt tot een significant gewichtsverlies dan zegt dit niets over hoe effectief dit dieet na één jaar of 2 jaar is. Deze nuancering is erg belangrijk omdat uit onderzoek op lange termijn blijkt dat populaire vermageringsdiëten op lange termijn niet altijd effectief zijn.
— Werden potentieel schadelijke neveneffecten van de interventie bevraagd/onderzocht?
Het is niet alleen belangrijk om aan te tonen dat een bepaalde interventie effectief is, het is ook belangrijk om aan te tonen dat de interventie niet tot schadelijke neveneffecten leidt. Onderzoek toonde bijvoorbeeld reeds uitvoerig aan dat strikte en rigide vermageringsdiëten kunnen leiden tot verstoord eetgedrag en het risico op eetstoornissen verhogen. Binnen een studie die aantoont dat een strikt dieet leidt tot gewichtsverlies is het dus belangrijk om bij de beoordelingen van de effectiviteit van de interventie niet alleen het gewichtsverlies in rekening te brengen, maar is het ook belangrijk om na te gaan of het dieet geen schadelijke gevolgen heeft, zoals verstoord eetgedrag, negatief lichaamsbeeld etc..
— Werden er ook langetermijneffecten en gevolgen opgevolgd?
Het is binnen onderzoek niet (altijd) gemakkelijk om langetermijneffecten en gevolgen te onderzoeken. Toch is het belangrijk om langetermijneffecten in kaart te brengen. Iets wat op korte termijn effectief is, is dat mogelijk niet op lange termijn. Iets wat op korte termijn geen schadelijke gevolgen heeft, heeft dat misschien wel op lange termijn.
— Effecten gevonden in wetenschappelijke studies zijn niet zomaar te generaliseren naar het dagelijks leven.
Externe validiteit geeft aan in welke mate de resultaten van een onderzoek generaliseerbaar zijn tot de reële omgeving of andere doelgroepen, kort gezegd: werkt een interventie die effectief bleek in onderzoek ook in het dagelijks leven? Bijvoorbeeld: Men zou kunnen aantonen dat een dieet waarbij men bepaalde voedingsmiddelen weglaat effectief is om gewicht te verliezen. Binnen het onderzoek kregen de proefpersonen aan huis en op maat gemaakte gerechten om te garanderen dat de proefpersonen het dieet nauwgezet opvolgde. De vraag is of je dan de resultaten kan generaliseren naar de gewone populatie die geen beroep kunnen doen op aan huis geleverde gerechten.
— Resultaten van dierenonderzoek zijn niet zomaar te veralgemenen naar mensen.
Hoe mooi het resultaat van een bepaalde studie op dieren ook is, het garandeert niet dat dezelfde effecten ook bij mensen gevonden worden. Soms toont bijkomend onderzoek op mensen aan dat het effect gegeneraliseerd wordt maar heel vaak vindt men geen effect bij mensen of zijn de effecten bij mensen zelfs tegengesteld aan de effecten bij dieren. Vanuit dieronderzoek dus iets concluderen over de effecten van een dieet bij mensen is dan ook niet correct. Conclusies uit dieronderzoek moeten ook getest worden bij mensen.
— Let op wanneer op basis van slechts 1 studie een conclusie wordt getrokken.
Binnen onderzoek is het belangrijk om onderzoeksresultaten te repliceren: significante resultaten uit één onderzoek zeggen weinig wanneer ze niet worden teruggevonden in andere onderzoeken. Hoe meer studies hetzelfde effect terugvinden, hoe meer we er op kunnen vertrouwen dat het over een waar en dus bestaand effect gaat. Er bestaat echter ook een publication bias in de wetenschappelijke literatuur: studies die een effect aantonen (significante resultaten) hebben meer kans om gepubliceerd te worden dan studies die geen effect vinden (nul-effecten). Dit kan de conclusies rond het bestaan en de grootte van een effect vertekenen. Idealiter wordt elk onderzoeksresultaat (ongeacht significantie of niet) gepubliceerd. Door al deze onderzoeksresultaten samen te leggen, wordt de schatting van het ware (nul-)effect steeds betrouwbaarder. Meta-analyses en systematic reviews brengen resultaten van verschillende studies samen (rekening houdend met o.a. publication bias, grootte van de testgroep enz.). Conclusies op basis van meta-analyses en systematic reviews zijn daarom sterker dan conclusies op basis van één enkele studie.
— Wees je bewust van het verschil tussen confirmatief en exploratief onderzoek
Bij exploratief onderzoek doet men op voorhand geen uitspraken over het te verwachten resultaat. Exploratief is interessant omdat men data kan verkennen, tegelijkertijd verhoogt het de kans op toevalstreffers: men vindt effecten of relaties die eigenlijk niet bestaan. Bij confirmatief onderzoek vertrekt men van een duidelijke hypothese en zal men door middel van onderzoek nagaan of men deze hypothese kan bevestigen of weerleggen. Confirmatief onderzoek is altijd sterker dan het eerste en gevonden effecten in exploratief onderzoek dienen eigenlijk altijd bevestigd te worden in confirmatief onderzoek. Belang van registratie: Werden het onderzoek en de hypotheses op voorhand vastgelegd en geregistreerd? Registratie garandeert dat het onderscheid tussen exploratief en confirmatief onderzoek bewaard blijft.
— De grootte van de testgroep
De grootte van je testgroep hangt samen met de significantie van je resultaten. Hoe kleiner je groep, hoe moeilijker je significante resultaten vindt, en hoe groter hoe gemakkelijker. Soms vind je hier wat misbruik in: er worden zoveel deelnemers getest zodat het effect wel significant is, ook als het effect in realiteit niet betekenisvol is. Het is daarom belangrijk om niet alleen te kijken naar significantie maar ook of het gevonden effect klinisch betekenisvol is: 100 gram gewichtsverlies versus 1 kilo gewichtsverlies of 10 kilo gewichtsverlies. Anderzijds moet een testgroep wel voldoende groot zijn om iets te zeggen over een populatie. Het is niet omdat er een effect gevonden wordt in een kleine groep proefpersonen, dat dit veralgemeend kan worden naar de rest van de bevolking. Tegenwoordig gebruiken gelukkig heel wat onderzoekers een poweranalyse om de optimale grootte van hun steekproef te bepalen. Deze analyse garandeert dat men het optimale aantal proefpersonen opneemt in de studie voor het effect dat men wenst te testen. Binnen een poweranalyse maakt men een schatting van de grootte van het verwachte effect, de poweranalyse geeft dan aan hoe groot de testgroep moet zijn om dit effect optimaal te kunnen testen. Een poweranalyse wordt beschreven in de methodesectie van een onderzoeksartikel maar ook hier blijft het belangrijk om je af te vragen of de grootte van het effect dat men wenst te testen wel klinisch betekenisvol is.
