Als er onderzoek wordt uitgevoerd naar wat Nederlanders vinden, dan gebeurt dat via het ondervragen van een beperkt aantal personen, bijvoorbeeld 800 of 1000. Daarbij is het doel die ondervraagden zodanig te kiezen dat ze samen een goed beeld geven van wat alle Nederlanders vinden. De groep ondervraagden is dan ‘representatief’ voor alle Nederlanders. Door middel van het trekken van een steekproef uit alle Nederlanders kan een dergelijke representatieve groep worden gevormd. De essentie van het trekken van een dergelijke steekproef is dat ‘alle Nederlanders een gelijke kans hebben om in de steekproef terecht te komen’. Dit heet dan een ‘aselecte steekproef’. In de praktijk is dat moeilijk (en inmiddels steeds moeilijker) te realiseren. Dat komt vooral doordat veel mensen die wel in de steekproef vallen niet aan het onderzoek meedoen. Mensen zijn vaak niet thuis of weigeren aan het onderzoek mee te doen. Vooral dat laatste gebeurt steeds meer. Bij telefonisch onderzoek komt het inmiddels vaak voor dat minder dan 20% van de mensen die in de steekproef valt echt aan het onderzoek meedoet. Dit houdt dus in dat ook als tegenwoordig telefonisch onderzoek wordt gedaan via een aselecte steekproef het niet automatisch betekent dat de resultaten ook representatief zijn voor alle Nederlanders.

De problemen bij onderzoek via internet zijn er ook, hoewel weer anders van karakter. Er is geen groot bestand van emailadressen van alle Nederlanders, waaruit een aselecte steekproef wordt getrokken. (En zelfs als dat er zou zijn is de vraag hoeveel van de benaderden er dan actief aan meedoen). Dus er worden andere manieren gekozen om die situatie zo goed mogelijk te benaderen. In alle gevallen gaat het daarbij om mensen die zich zelf hebben aangemeld of als ze op een specifieke plek of plaats worden benaderd aangeven mee te zullen doen. En vervolgens moet getracht worden vanuit die medewerkenden toch een beeld te krijgen is dat goed lijkt op dat wat wel een ideale steekproef zou zijn geweest.

Dat gebeurt in een aantal stappen. Zo wordt gekeken hoe de wel bekende kenmerken er in het onderzoek uitzien en zonodig correcties toe te passen. Als in het onderzoek 60% van de deelnemers vrouw is en 40% man dan is dat dus fout. Dit hoort ongeveer 50% te zijn voor beide geslachten. Door de deelnemende mannen aan het onderzoek zwaarder mee te tellen dan de vrouwen wordt de 60-40 verhouding naar 50-50 gebracht. En een dergelijke procedure kan worden uitgevoerd voor diverse andere kenmerken waarvan de Nederlandse verdeling bekend is (zoals de regio waar men woont en opleidingsniveau).

Van groot belang is te beseffen dat bij onderzoeken rondom politieke vraagstukken in Nederland natuurlijk het belangrijkste kenmerk van representativiteit de juiste verdeling is onder de deelnemers van het onderzoek van de laatste verkiezingsuitslag. (De door mij in 1976 ontwikkelde correctiemethode voor het verkiezingsonderzoek met de naam ‘Methode-De Hond’ was precies op dat principe geënt.) Zo wordt er in ieder geval voor gezorgd dat de deelnemers voor wat betreft vorig stemgedrag een afspiegeling is van de laatste verkiezingen. Wel is het interessant om vast te stellen dat wij hebben aangetoond dat naarmate de verkiezingen verder in het verleden liggen het geheugen van kiezers t.a.v. hun vorig stemgedrag slechter wordt. Twee jaar na verkiezingen weet bij voorbeeld nog minder dan 80% correct de partij te reproduceren die zij echt hebben gestemd. Doorgaans noemen zij in plaats van hun echte keuze de partij die ze inmiddels zouden willen stemmen. (Of nog beter, die zij een jaar geleden zouden hebben gestemd als het toen verkiezingen waren). Als daar geen rekening mee gehouden zou worden dan worden overgangen tussen partijen onderschat. Een deel van de kiezers geeft namelijk niet aan dat ze inmiddels een andere keuze maken, maar lijken aan te geven dat ze hun voorkeur niet hebben veranderd, terwijl dat in werkelijkheid wel zo is.

Het probleem voor alle onderzoeken in Nederland is dus dat steeds meer mensen niet aan onderzoek met een aselecte steekproef meedoen, wordt het steeds noodzakelijker op de bekende representativiteitskenmerken te corrigeren. Het eindresultaat is daardoor een zo goed mogelijke schatting van de werkelijkheid met bepaalde (geaccepteerde) afwijkingsmogelijkheden.

De aanpak die voor het onderzoek voor Peil.nl is gekozen is een andere methode dan bij telefonisch onderzoek om een zo goed mogelijke schatting van die werkelijkheid te geven. Geprobeerd wordt een zo groot mogelijk aantal Nederlanders zich bereid te laten verklaren om regelmatig via internet aan het onderzoek deel te nemen. Als zij aan het onderzoek willen meedoen wordt een serie van persoonlijke kenmerken vastgelegd, waaronder het stemgedrag bij de laatste verkiezingen. Per afzonderlijk onderzoek wordt dan een deel van die mensen uitgenodigd om aan het onderzoek mee te werken. De selectie geschiedt op basis van de vastgelegde kenmerken, zodanig dat er ten aanzien van die bekende kenmerken sprake is van representativiteit. Na binnenkomst van alle resultaten wordt zonodig nog op de bekende kenmerken bijgewogen. Belangrijk daarbij is nog de vaststelling dat bij het onderzoek voor Peil.nl iedereen aan het onderzoek kan deelnemen. Zij krijgen dan inzicht in hun antwoorden afgezet tegen die van de groepen waarvan zij deel uitmaken. Maar voor de bepaling van de eindresultaten tellen alleen de mensen mee die van tevoren in de steekproef zijn gevallen.

Polls die -vaak- op internet plaatsvinden en die alleen zijn gebaseerd op mensen die een bepaalde website bezochten en vrijwillig mee zijn gaan doen kunnen zonder verdere bewerkingen geen aanspraak doen op representativiteit voor alle Nederlanders!

Om de geschetste aanpak te evalueren en zo goed mogelijk aan te scherpen vindt na iedere verkiezing een evaluatie pas en zonodig aanpassingen van de wegingsaanpak en methodiek.

Ten aanzien van de vragen over de huidige stemkeuze krijgen de respondenten ook te zien wat ze de laatste keer zelf hebben ingevuld. Zij kunnen dan die keuze handhaven of veranderen. Bij onze berekening van de (wekelijkse) zetelverdeling kijken we dus naar de werkelijke verschuivingen per respondent en niet alleen naar de totale percentages. Mede daarom is het niet goed mogelijk om de marges van betrouwbaarheid aan te geven, want die zijn door deze aanpak kleiner dan alleen gebaseerd op de omvang van de steekproef.

De onderzoeken die we met regelmaat over allerlei actuele onderwerpen plaatsen zijn minimaal op 1200 respondenten gebaseerd, maar vaak meer.
De weekpeiling, die wij op zondag publiceren, is minimaal op 3000 respondenten gebaseerd, maar vaak ook beduidend meer.

In het boek van Raoul Heertje (“€œRutte is Lesbisch”€) staat aangegeven dat hij zich met verschillende emailadressen fake heeft kunnen aanmelden bij Peil.nl, daarmee implicerend dat hij of anderen de resultaten van de onderzoeken kunnen manipuleren. Belangrijk is daarbij het volgende te beseffen:

  • Stel dat je invloed wilt hebben op de resultaten van Peil.nl waardoor er een verschuiving t.o.v. de werkelijkheid is van 1%. Dan moet je enerzijds met 500 verschillende emailadressen geregistreerd staan. En als we 2000 mensen uitnodigen moet hij/zij anderzijds dan wel 20 verschillende enquêtes invullen. Bij een gemiddelde invultijd van 10 minuten is dat dus meer dan 3 uur.
  • Wij checken wel op een vorm van interne coherentie en hebben ook nog wat andere checks op de echte insteek van de uitgenodigde respondent. (Want alleen uitgenodigde respondenten tellen mee in de eindtabellen). Als we een ernstig vermoeden hebben dat iemand maar wat doet dan wordt hij intern uitgeschakeld. Het kan dan nog wel zijn dat hij uitgenodigd wordt, maar zijn resultaten worden niet in de tabellen meegenomen.

De gekozen methode van Peil.nl zal dus een goede inschatting geven van wat er werkelijk leeft onder de Nederlanders. En door dezelfde vragen in de tijd te herhalen geeft het een goede indruk van de veranderingen in opvattingen in de tijd. Qua representativiteit zeker niet slechter dan onderzoeken die telefonisch of door andere bedrijven op dezelfde of andere wijzen via internet worden uitgevoerd.

Maurice de Hond (View/Ture BV)
https://www.maurice.nl