Wie nam deel aan Het Grootste Buurtonderzoek? (Hoegin)

Afgelopen week-end publiceerde Het Nieuwsblad enkele resultaten van Het Grootste Buurtonderzoek. Aangezien nog niet alle resultaten gepubliceerd werden, maar alleen maar enkele teasers, is het moeilijk een uitspraak te doen over het onderzoek, maar wanneer ik naar de omvang ervan kijk en de gegevens over hun methodologie, zit ik met enkele vragen.

Vooraf: Aangezien volgens hen zo'n 2% van alle Vlaamse kiesgerechtigden deelgenomen heeft aan Het Grootste Buurtonderzoek, neem ik aan dat een aantal van hen vroeg of laat dit artikel zal lezen. Ik zou het zeer op prijs stellen indien één van hen met mij contact zou opnemen.

De concrete vragen waarmee ik zit zijn de volgende:

1. De 310.000 elektronische adressen waarvan sprake, zijn die willekeurig verdeeld over alle Vlaamse gemeenten, of per gemeente samengesteld?
2. Werkten alle 310.000 adressen, of werden er voor een aantal onder hen foutmeldingen ontvangen?
3. Waren de gebruikte formulieren webformulieren (d.w.z. in te vullen op een server), of werden e-mails gebruikt?
4. Wat zijn de concrete betrouwbaarheidsintervallen per gemeente, in het bijzonder voor Mesen?

Voor ik de vragen en de redenen waarom ik ze stel verder uitwerk, volgende eenvoudige rekensom: In 2004 telde Vlaanderen voor de verkiezingen van de Vlaams Raad 4.568.250 ingeschrevenen, en ik neem aan dat dat aantal niet erg gewijzigd is. Voor het onderzoek werden dus 310.000 mails verstuurd, of omgerekend zo'n 6,5% (1 op 15) van de kiesgerechtigden. Van die 6,5% hebben ongeveer een derde geantwoord, zo'n dikke 2% (1 op 50) van de kiesgerechtigden dus. Merkwaardig dat nogal wat mensen dit week-end uit de lucht kwamen gevallen dat er zo'n onderzoek gebeurd is, wanneer maar liefst 2% van de kiesgerechtigden heeft meegedaan. Hoe dan ook neem ik aan dat toch enkelen van hen dit artikel zullen lezen en mij meer informatie over dat onderzoek zullen kunnen verschaffen.

Verdeling van de 310.000 adressen over de Vlaamse gemeenten

Het zou interessant zijn te weten hoe de 310.000 elektronische adressen die gebruikt werden samengesteld werden (en niet in het minst: hoe die verkregen werden). Zijn die 310.000 adressen willekeurig verdeeld over alle gemeenten, of werden de adressen eerst per gemeente ingezameld? Dit is immers een belangrijk vraag: Mesen telde bij de gemeenteraadsverkiezingen van 2000 slechts 715 ingeschreven kiezers. Indien de 310.000 adressen willekeurig verdeeld zijn over alle Vlaamse gemeenten, kan men op basis daarvan verwachten dat slechts een kleine vijftig van hen bij inwoners uit Mesen horen. Wanneer slechts een derde van hen antwoordt, wordt dat aantal gereduceerd tot 16 Mesenaren. In het andere geval werden ongeveer 300 Mesenaren elektronisch aangeschreven, bijna de helft van de kiesgerechtigden dus, om uiteindelijk 100 antwoorden uit Mesen op te leveren.

Correctheid van de 310.000 elektronische adressen

Uit ervaring weet ik dat elektronische adressen een relatief korte halveringstijd hebben. Van degenen die nog geldig zijn, kunnen bovendien een aantal niet afgeleverd worden vanwege tijdelijke problemen op de servers, terwijl anderen dan weer niet aankomen omwille van overvolle postbussen die al een tijdje niet meer geraadpleegd werden. Hoe hoger het aantal ongeldige adressen, hoe groter het relatieve aantal antwoorden op het elektronische gedeelte van de enquête. Ik merk in ieder geval op dat de journalist in De Standaard schrijft dat er 310.000 e-mails verstuurd werden. De responsratio voor de mensen die de mail daadwerkelijk ontvangen en in hun postbus opgemerkt hebben ligt dus waarschijnlijk een pak hoger dan de vermelde 33,6%.

Webformulieren of e-mail?

Het artikel in De Standaard vermeldt eveneens dat zo'n 6000 formulieren niet weerhouden werden omdat ze niet volledig ingevuld werden. Dit doet me enerzijds vermoeden dat de aangeschreven mensen per e-mail konden antwoorden, omdat ik anders niet goed kan begrijpen hoe deelnemers erin konden slagen formulieren «niet volledig» in te vullen. Anderzijds is het aantal onvolledige (foutieve?) formulieren zo klein vergeleken met het aantal volledig ingevulde formulieren, dat er meer moet gebeurd zijn dan een eenvoudige e-mail waarop deelnemers konden antwoorden via de Reply-knop. De verwerking van zulke antwoorden zou vermoedelijk snel een compleet hopeloze zaak worden.

Uit de resultaten die voorlopig al gepubliceerd werden lijkt het er bovendien op dat de formulieren relatief lang moeten geweest zijn. Verder moeten die formulieren ook op één of andere manier rekening houden met de lokale lijsten bij de registratie van de partijvoorkeur. In mijn ogen lijken webformulieren daarom de meest praktische oplossing. Een respons van 33,6% lijkt me dan weer een bijzonder hoog aantal voor zo'n project, omdat mensen dan eerst op een link in een e-mail moeten klikken voor ze het formulier kunnen invullen.

Betrouwbaarheidsinterval per gemeente

Voor zover ik begrepen hebt claimt het onderzoek een betrouwbaarheidsmarge van 95% en een interval van 3%. In 2000 telde Antwerpen 316.926 ingeschreven kiezers, wat betekent dat ze voor de gewenste betrouwbaarheid zo'n 1000 kiesgerechtigde Antwerpenaren moesten ondervragen. Met het aantal van 2200 zitten ze daar ruim boven. Voor Mesen, dat in 2000 zoals reeds gezegd 715 ingeschreven kiezers telde, hadden ze echter 428 mensen moeten ondervragen, geen 100. Voor 100 ondervraagde personen bedraagt het betrouwbaarheidsinterval 9% in plaats van 3%, bij een marge van 95%. Maar een peiling met een betrouwbaarheidsinterval van 9%, wie zit daar op te wachten? Dan is bij wijze van spreken de uitslag van 2000 nauwkeuriger.

Een andere rekensom is de volgende: vrijwel alle 308 Vlaamse gemeenten tellen meer dan 2000 inwoners, en een heel grote meerderheid meer dan 3000 inwoners. Voor een gemeente met 2000 kiesgerechtigden zou je voor de gewenste betrouwbaarheid zo'n 700 mensen moeten interviewen. Vermenigvuldigd met 300 gemeenten betekent dit dat er 210.000 interviews hadden moeten plaatsvinden om in elke gemeente een betrouwbaarheidsinterval van 3% te krijgen. Ik heb nog geen gedetailleerde resultaten per gemeente gezien, maar betwijfel dus dat de gewenste betrouwbaarheid ook in de kleinere gemeentes geldig kan zijn. Immers, gemiddeld namen 300 personen per gemeente deel aan het onderzoek, wat minder dan de helft is van het aantal nodig voor zelfs de kleinste gemeenten.

Andere merkwaardigheid is dat slechts 2200 Antwerpenaren betrokken werden in het onderzoek. Koppelen we terug naar de eerste vraag, verwachten we bij een willekeurige samenstelling van de 310.000 elektronische adressen 21.500 Antwerpse adressen. Antwoordt een derde van hen, zijn dat er nog altijd ruim 7000. Daarbij wordt dan nog geen rekening gehouden met een eventuele grotere toegang tot het internet in een stad als Antwerpen vergeleken met landelijke gemeenten. De sterke ondervertegenwoordiging van Antwerpen zou erop kunnen wijzen dat de 310.000 elektronische adressen per gemeente samengesteld werden, maar als dat het geval is, heeft men weer relatief te veel Antwerpse adressen aangeschreven.

Tot slot nog dit: in het artikel in De Standaard is er sprake van 310.000 e-mails, waarvan 33,6% volledig ingevuld teruggestuurd werden. Dat zijn er dus 104.160. Trekken we daar de 7518 formulieren van af die afkomstig zijn van mensen die al aan andere onderzoeken hadden deelgenomen, dan blijven er nog 96.642 correct ingevulde formulieren over. Er wordt echter gesteld dat slechts 91.700 mensen via het internet geïnterviewd werden. Ik hoop dat het hier de journalist is die er een boeltje van gemaakt heeft, niet de onderzoekers, want opiniepeilers die nog last hebben met procentrekenen zouden beter een andere bezigheid zoeken.