Waarom de NGO's achter de gifmeter niet echt kundig overkomen.

1. De statistiek en normale distributiecurves binnen een partij.

Met plezier en verbazing volg ik in de laatste dagen de discussie op foodlog over MRL’s. Vooral de manier waarop Jan met wiskunde A statistiek op niveau VWO een paar NGO’s -zonder ook maar het minste gevoel voor getallen- de oren wast heeft me flink wat glimlachen opgeleverd. Zelf weet ik niet zo heel erg veel over MRL’s, behalve dat het Rikilt –onderdeel van WUR, echter wel met wettelijke taken rondom dit onderwerp- methodes ontwikkelt, en dat PT veel analyses heeft laten uitvoeren.

Wat ik wel weet is dat het meten aan biologische systemen nogal ‘’uitdagend” is. Zelf ben ik vrij goed thuis in de statistiek van microbiologische besmetting en andere kwaliteits-analyses van groente en fruit. En op basis van deze ervaring weet ik dat het belangrijk is om eerst te weten wat de mogelijke spreiding binnen een partij is. Want deze spreiding kan heel erg groot zijn tussen de verschillende vruchten uit een partij.

Mijn eerste vraag op foodlog gingen daarom ook over de spreiding van de residu concentraties binnen een partij. Stel je hebt een partij appels (ook wel batch of lot genoemd) die van dezelfde boom afkomt, en die op het zelfde moment is geplukt en verder een ‘zelfde’ behandeling heeft gekregen. Wat is dan de verdeling van de residu niveaus over de appels in deze partij? (dit is mijn eerste vraag) Zelf verwacht ik dat er een aanzienlijke spreiding kan zijn, en het zal me niet verbazen dat als we 10 appels zouden doormeten, de resultaten een factor 10 verschillende kunnen zijn (vraag 2). Een appel die toevallig in de schaduw van zijn broertje zat, kan bijna ‘schoon’ zijn, terwijl het broertje niet allen vol in de spuit zat, maar ook nog eens een plekje heeft waar ‘het gif’ beter is blijven ‘hangen’. Gelukkig heeft Dick dit punt ook begrepen.



Stel we hebben een partij appels waarvan de residu niveaus normaal zijn verdeel over een partij. En we gaan een appel analyseren, daarna drie appels, daarna 10 appels, daarna 20 appels etc. De verwachte residuen (x-as) en het aantal metingen met een bepaald residu (y-as) zijn weergegeven in deze grafie.

Een getallenvoorbeeld maar, dat ik overigens volkomen uit mijn duim heb gezogen. Stel we gaan aan een lot (=batch) meten wat de residu waardes zijn van één appel. En dan meten we 10 appels uit dit lot op, en daarna de eerste 20 stuks; de eerste 40 appels, de eerste 100, de eerste 200 en de eerste 300 appels die allemaal random gekozen zijn uit deze partij. Een ‘normale’ onderzoeker zou na 10 metingen gewoon het gemiddelde nemen (en misschien zelfs wel wat uitbijters weggooien) en misschien nog de standaarddeviatie bepalen. De grafieken staan hierboven en -onder.

Idem, als plaatje hierboven, echter nu met 40 doorgemeten appels, 100 appels, 200 appels en 300 appels. Duidelijk is dat bij veel metingen er een 'normale' of gauss verdeling ontstaat.


Maar ik wil wat anders laten zien; we kunnen nu namelijk histogrammetjes maken (zie hierboven) en dat is de bedoeling van deze exercitie. Ik wil een indruk krijgen van de vorm van deze distributieverdeling. In dit getallenvoorbeeld ‘verschijnt’ een zg. normale verdeling. Ik denk overigens niet dat residu waarden binnen een lot normaal verdeeld zijn (en dat is dan ook mijn derde vraag).

Mijn vragen samengevat zijn derhalve:
  1. Wat is de verdeling van de residu concentratie binnen een partij?
  2. Wat is het verschil tussen de ‘vieste’ en ‘schoonste’ appel binnen een partij? Zelf verwacht ik grote variaties (ook binnen een en dezelfde partij).
  3. Wat is de vorm van deze verdeling? Zelf verwacht ik niet dat deze normaal is verdeeld.
  4. Is de standaarddeviatie niet een eigenschap van het best-practice spuitproces? En is dat daardoor geen goede ‘schatter’ van alle partijen?
  5. Welke wetenschapper of welke organisatie weet hier meer over?


2. Weten we de te verwachte spreiding binnen een batch wel? 

Hierboven heb ik kort toegelicht dat ik wat vragen heb, m.b.t. de verdeling van de residuen binnen een en dezelfde partij. Waarom is dit zo belangrijk? Nou heel simpel, in de praktijk worden er maar een paar (of misschien zelfs wel één sample!) monsters genomen uit een partij AGF, en op basis van de resultaten wordt dan geconcludeerd of deze partij ‘schoon’ is of niet. Kortom de steekproefgrootte moet wel gecorreleerd worden met de te verwachte spreiding binnen een partij. Zelf heb ik de indruk dat dat niet gebeurt.

Vanaf nu doe ik net alsof ik weet wat de vorm van de verwachte distributecurve van een partijis. In onderstaande voorbeeld is verondersteld dat het gaat om een normale verdeling (ik twijfel overigens over deze hypothese) met een gemiddelde van 60 en een standaarddeviatie van 15 binnen een lot. Ook veronderstel ik dat de MRL grens ligt bij een waarde van 100, en dat er supermarktketens zijn die roomser dan de paus willen zijn, en hun grens op 75% vd MRL leggen; of te wel op 75. Onderstaande grafieken geven de distributieverdeling weer en de MRL grenzen 100 en 75:

De x-as op deze grafieken geeft de residu concentratie aan. De groene lijn geeft de distributie aan van de concentraties die binnen hele partij gemeten zouden kunnen worden (zie ook wiki voor meer uitleg over distributieverdelingen). In dit voorbeeld veronderstel ik dat de residu concentratie in een partij normaal is verdeeld (= gauss-verdeling). De oranje staaf geeft de veilig acceptabele dosis aan, de blauwe lijn is de MRL grens (in dit voorbeeld 100), de paarse lijn geeft de strikte supermarktgrens aan die staat op 75% MRL (dus waarde 75)

De MRL overschrijdingskans is nu te bepalen op basis van het oppervlak onder de groene curve dat zich aan de rechterkant van de grens (blauwe lijn voor MRL 100 en de paarse lijn voor MRL 75) zit. Deze overschijdingskansen heb ik bepaald en zijn respectievelijk 2,3% (bij de MRL 100 grens) en 23% (bij de MRL 75 grens). Kortom de 'tuinder' in mijn fictief voorbeeld heeft een gemiddelde concentratie aan residuen op zijn batch/partij/lot van 60 eenheden, en zit dus gemiddeld 40 eenheden onder de MRL grens van 100. En toch is er nog een 2,3% kans dat bij een steekproef zijn partij wordt afgekeurd. Je ziet ook dat de relatie MRL grens en overschrijding niet linear schaalt. 25% lagere grens, levert een 10x hogere overschijding op! Natuurlijk is dit een volkomen fictief voorbeeld (maar de essentie klopt wel!), maar het geeft aan dat we eerst meer moeten weten over de gemiddelde, maar vooral over de spreiding binnen een partij!


Mijn vragen samengevat zijn daarom:
  1. Hoeveel monsters worden er uit een batch gehaald als de MRL wordt bepaald? Kortom wat is de steekproefgrootte?
  2. Is de MRL overschrijding van Nederlandse AGF van 1.7 a 2% niet een teken dat er gemiddeld heel weinig wordt gespoten, en heeft dit niet eerder te maken met de te verwachte spreiding binnen één partij?
  3. Zijn de verschillen die je kan verwachten in batches van de verschillende tuinders niet veel kleiner dan de te verwachte spreiding binnen een partij? Kortom is het ‘meet’instrument (en daarmee bedoel ik de combinatie tussen samplegrootte en betrouwbaarheid van de analyse) wel nauwkeurig genoeg?
Is de MRL overschrijdingskans daarmee niet een zinloze en misschien zelfs gevaarlijk KPI? Zou je eindelijk niet moeten kijken naar de absolute residue waarden INDIEN een analyse boven de MRL ligt? En zo ja, zou je dan niet eerst met een juiste steekproefgrootte deze ‘verdachte’ partij nogmaals moeten beoordelen? En wat zegt dat nu eigenlijk over het riscio van de consumptie van groente en fruit? Meer hierover in onderstaand stukje.


3.  Hoe kwamen we via de toxicologie nu eigenlijk op MRL’s?

Laten we eens gaan kijken naar hoe een MRL tot stand komt. Meestal komt deze tot stand op basis van toxicologisch onderzoek (bijvoorbeeld aan ratten) waarbij eerst gekeken is naar de zogenaamde letale dosis (LD50). Dat is de concentratie aan chemicalien waarbij 50% van de ratten doodgaat. De LD50 zegt iets over het acute risico. Natuurlijk zijn er ook lange termijn risico’s en zijn over het algemeen wat lastiger te onderzoeken, maar onderzocht wordt het zeker. Op basis van dit type onderzoek bepaalt men een algemeen veilige geaccepteerde dosis waarbij er ook geen chronische ziektes of lange termijn effecten zijn te verwachten. Deze dosis ligt in de regelen velen duizendenden, tienduizenden tot miljoenen malen lager ligt dan de LD50 (zie ook opmerking van Huib).

Vervolgens wordt er nog een veiligheidsfactor van 2, 10 of 100 over deze veilig acceptabele dosis gegooid. En dan hebben we pas de MRL. De discussie nu gaat over een paar procent of enkele tientallen procenten (en ik ga het niet goedpraten!) overschrijding van de MRL? De mogelijke schade die wordt veroorzaakt wordt door deze overschrijding is schat ik in nihil; of in ieder geval zo laag dat we het mogelijke nadelige effect van deze overschrijding waarschijnlijk nooit kunnen meten of achterhalen in de praktijk. Als ik mijn voorbeeld case op schaal eens uitzet tegenover de veilig acceptabele dosis (met concentratie 1000) -in de veronderstelling dat er gewerkt wordt met een veiligheidsfactor 10- (MRL = 100, veilig acceptabele dosis = 1000), dan zie je ook hoe belachelijk de hele discussie over 1.7% overscheiding nu eigenlijk is:









In bovenstaande plaatje staat op de x-as de concentratie residue. De oranje staaf geeft de veilig acceptabele dosis aan, de blauwe lijn is de MRL grens (in dit voorbeeld 100), de paarse lijn geeft de strikte supermarktgrens aan die staat op 75% MRL (dus waarde 75), en de groene lijn geeft de verwachte concentratie verdeling weer in een partij groente of fruit. De z-as geeft aan wat de distributie waarde is. het hele oppervlak onder de groene grafiek is tezamen 100%. De grenswaarden zijn gewoon grenzen.

De vervolgdiscussie gaat naar mijn verwachting daarom weer over risico’s, kansen en effecten. Professor Fryer heb ik in het verleden daar leuke lezingen over horen vertellen. Dit punt heb ik op foodlog ook al aangehaald bij de Q-koorts discussie, bij de discussie over ‘beestjes op groente’ en de ‘Monsanto gentech’ discussies (google maar even via deze link). Ook Huib benoemt dit punt en mijn reactie staat hier:
Voor de zekerheid : risico = kans op een effect x de ernst van het effect. Normaal wordt een dergelijke kans uitgedrukt in eenheden “aantal doden per miljoen mensen per jaar” of “aantal ziektes per miljoenen mensen per jaar”. Het bepalen van risico’s is een beta-wetenschap, kortom met veel ‘rationaliteit’. Het afwegen cq vergelijken van risico’s bij verschillende handelingen, is/kan een politieke wilskeuze zijn.
Mijn schatting rondom de risico's van een paar procent MRL overschrijding heb ik ook al op foodlog gezet (ik denk dat het additionele risico van een 2% overschrijding volledig verwaarloosbaar is):
Gister heb ik al rijdende uit Zwitserland lang met Dick getelefoneerd. Het ging o.a. over hoe op basis van toxicologische wetenschap een ‘veilige’ norm wordt bepaald. Ook ik haalde net zoals Huib hierboven doet aan dat er iets vreemds aan de hand is. In de regel wordt er inderdaad met veiligheidsfactor 100, 1000 0f 10.000 gewerkt om tot een acceptabel veilige MRL te komen. Kortom de echte discussie gaat over logaritmische schalen (factoren, en dus geen procenten) en de betrouwbaarheid van toxicologisch onderzoek.
De gifmeter gaat over 1.7% overschrijding en communiceert moord en brand. Ook hier klopt dus helemaal niets van. Uitgerekend heb ik het niet, maar vermoedelijk was mijn 8 uur autorijden gisteren duizenden keren risicovoller (zeker door mijn belletje met Dick) dan al mijn groente en fruitconsumptie in de rest van mijn leven. Werkelijk bizar dat zoveel NGO’s -vermoedelijk met tientallen miljoenen euro’s subsidie- dit punt niet eerlijk vertellen. Wat mij betreft krijgen de betrokken NGO’s een rode kaart

Mijn vragen zijn daarom:
  1. Hoeveel lagere liggen de MRL’s van een gemiddeld product t.o.v. de dagelijkse acceptabele dosis en ten op zichte van de LD50? Kortom welke veiligheidsfactoren worden er toegepast?
  2. Wat is het risico van de inname van bestrijdingsmiddelen als we dit vergelijken met autorijden, roken, overgewicht, etc. Of nog beter het niet eten van groente en fruit. Kortom kunnen we dit additionele gezondheidsrisico eens in perspectief zetten.

4. Het meten van een MRL in het laboratorium

Ik heb tijdens mijn studie chemische technologie een flinke hoeveelheid ‘chemische analyse’ gehad, en zal bekennen dat dit niet mijn meest favoriete onderdeel was (wat dat betreft ben ik echt een technologie man). Wel weet ik dat ook het doen van een goede en betrouwbare analyse niet eenvoudig is. Analyseprotocollen bestaan uit drie onderdelen (a) de monstervoorbereiding (hoe kom je van je product naar een vloeistof), (b) de scheidingsmethode (b.v. GC of HPLC), (c) de kwalitatieve beoordeling van de aanwezige chemische componenten (b.v. via MS of NMR). Bij elk protocol is het van belang om te weten wat de ondergrens is (de gevoeligheid) en wat de betrouwbaarheid is (is er een standaard fout of niet).

De snelheidsmeter in mijn auto is best gevoelig (de meter trilt niet veel), maar ik weet dat er een vaste standaard fout is van ongeveer 10 km/hr. Als de teller 130 km/hr aangeeft, dan rij ik feitelijk ongeveer 120 km/hr. Bij MRL metingen is het van belang precies te weten hoe het analyseprotocol eruit ziet, en om te weten hoe het met precisie, nauwkeurigheid en gevoeligheid zit (en dat ook nog eens product afhankelijk!).


Mijn vragen zijn op dit vlak:
  1. Welke laboratoria in Nederland -naast het Rikilt- kunnen MRL’s bepalen?
  2. Wat is de nauwkeurigheid (detectielimiet) en de betrouwbaarheid van dergelijke metingen? (is er bijvoorbeeld spraken van een consequente fout?)
  3. Hoe vindt de monstervoorbereiding plaatst? Stel we geven een krop sla aan het Rikilt, hoe gaan ze daar dan mee om? Pakken ze alleen de buitenste bladeren? Of maken ze eerst een homogene puree?

5. Samenvatting
  1. We moeten eerst een indruk krijgen van de (natuurlijke) spreiding binnen een partij.
  2. We moeten weten hoeveel lager MRL's zijn tov de veilig geaccepteerde dosis.
  3. We moeten meer weten over de steekproefgrootte.
  4. We moeten weten wat de nauwkeurigheid en de betrouwbaarheid is van de gehanteerde analyseprotocollen.
  5. We moeten de risico's kwantificeren en durven vergelijken met andere handelingen in onze maatschappij.
  6. We moeten de mogelijke ongezondheidsrisico's van AGF consumptie wel netjes vergelijken met de gezondheidswinst van meer AGF consumptie.

Reacties

  1. NOg een vraag, Wouter:

    en als er verschillende labs zijn die MRL's bepalen, hoe stemmen zij hun analysemethoden op elkaar af (ringtesten) en wat is de geaccepteerde afwijking?

    BeantwoordenVerwijderen
  2. Er worden door overheidslaboratoria (soms) ringtesten uitgevoerd. HIervoor is echter meestal een tekort aan middelen. Daarom vragen dit soort organisaties meestal subsidie aan bij de EU om dit soort ringtesten uit te voeren. Als ze geluk heb krijgen ze 'budget'. Ik denk dat PT en andere belanghebbenden daar ook eens goed naar zouden kunnen kijken.

    Analyses die vaak worden toegepast zijn beschreven volgens ISO en NEN normen, maar zelfs dan kan er nog een consequente fout tussen de laboratoria plaatsvinden.

    BeantwoordenVerwijderen
  3. IK ga je stuk eens aandachtig lezen Wouter, bedankt voor het compliment. Ik heb me uiteraard ook een aantal vragen gesteld, zoals de aard van de verdelingen, maar je kunt er zeker van zijn dat die niet normaal is.

    En inderdaad heb ik het op wiskunde A niveau gehouden, zoals jij dat noemt, want anders snappen niet zo veel mensen het meer. Maar waar MD zijn eigen vervuilingsindex introduceert, bevinden we ons nog wel steeds in een zeer klassieke situatie waar elke statisticus de bekende (Wilcoxon-)Mann-Whitney-U test op zou loslaten. Die is nu eenmaal standaard voor het vergelijken van twee verschillende steekproeven uit een verdeling die i.h.a. onbekend is.

    Nou is het enige probleem met die test dat je nogal veel detail-informatie nodig hebt over individuele metingen, en het kost veel tijd om die uit de weet-wat-je-eet site te halen. Als die er eenmaal elektronisch zijn is het een fluitje van een cent. Maar goed, ik heb er een paar doorgerekend en de resultaten zijn nog veel dramatischer dan mijn Wiskunde-A berekeningen.

    BeantwoordenVerwijderen
  4. @ Jan, mijn collega;s zijn er ook van overtuigd dat de verdeling niet normaal is in een reeele situatie. Ook krijg ik via via steeds meer de indruk dat deze verdeling helemaal niet eens bekend is. Rondom de U-test haak ik af, mijn parate universitaire kennis is een beetje weggezakt :-( Gelukkig heb ik er alle vertrouwen in dat jij wel de juiste vragen blijft stellen en wel de juiste kennis hebt. Mocht je informatie nodig hebben, stuur me dan even een e-mail.

    BeantwoordenVerwijderen
  5. Mann-Whitney-U is het equivalent van Student-t voor onbekende verdelingen. Maar dat zegt je dan misschien ook niet zo veel meer. Deze verdeling begint in (0,0), stijgt dan, om daarna weer terug te gaan naar 0 met lim oneindig. Die staart is denk ik in het begin nog vrij dik. Ik zou eerst gamma of lognormaal proberen, maar of die goed passen?

    l

    BeantwoordenVerwijderen
  6. student-t test ken ik wrl nog!

    heb je inmiddels mijn kleine bijdrage kunnen verteren? Hoe kijk jij hier tegenaan?

    BeantwoordenVerwijderen

Een reactie posten

Populaire posts van deze blog

In het Zonnetje gezet: Het gelijk (in mijn ogen) van Katans mening rondom voedingswetenschappen.

Ons eigen poep en pies kan onze wereld redden!

Teun is geen journalist maar een slim ondernemer. En ook ik heb mijn twijfels bij de ADH-cocnept : een schijnprecisie die er niet is in de praktijk.