See kommentaar on jätkuks eri kanalites avaldatud käsitlustele, milles arutleti, mis reitingute mõõtmisel viltu läks. Neis on juba viidatud mõningatele aspektidele, mis puudutasid valimiseelsete reitingute erinevust võrreldes valimistulemustega. Teema on siiski sedavõrd oluline, et vääriks lisaks ilmunud sõnavõttudele professionaalsemat käsitlust.

Kuigi üksikuid ebaõnnestumisi on ka varem olnud, tekitas seekord poleemikat asjaolu, et õigupoolest pole ühelgi uuringufirmal põhjust kiidelda. Mõnel juhul erines prognoos oluliselt valimistulemustest, eriti Reformierakonna ja EKRE puhul, mõnel juhul kõikusid viimase nädala-kahe reitingud üles-alla arusaamatult suurel määral. Et selliste hälvete põhjustele jälile saada, esitan süsteemsema ülevaate erinevuste mõjuteguritest.

Statistiline viga

Mitmel juhul on öeldud, et tulemuste erinevused uuringufirmade ja ka sama uuringufirma eri ajaperioodil tehtud reitingute vahel erinesid statistilist viga ületaval määral.

Kõigil asjast huvitatutel – nende seas uuringufirmad ise – tasuks teadmiseks võtta või meelde tuletada, et valimi statistiline viga (standardhälve) kehtib ainult puhta juhuvaliku korral. Puhas juhuvalik tähendab, et küsitlustiimil ega ühelgi küsitlejal ei ole õigust otsustada, keda ja milliste parameetritega vastajat ta küsitleb. Kõike juhib etteantud valem (valimi kujunemise aluseid on seejuures erinevaid), planeeritud vastaja kättesaamise tase (incident rate, IR) on ca 90 protsendi raames ja kätte saadud vastajate vastamise määr (response rate, RR) samuti 90 protsendi kandis.

Kui ebaõnnestunud kontakte tuleb asendada järgmiste vastajatega, siis ka seda tohib teha ainult etteantud valemi järgi. Seejuures peab valimi sotsiaaldemograafiline esinduslikkus kujunema ilma juhtimiseta ehk isekaaluvalt.

Asja sisu on see, et näiteks miljoni täiskasvanu küsitlemise asemel küsitletakse tuhandet ja see võibki tekitada juhuvaliku statistilise vea. Kui küsitletaks miljonit (Eestis kogu sihtrühm), siis statistilist viga ei olekski.

On selge, et puhta juhuvalimi realiseerimine ei ole praktikas ratsionaalne ega isegi mitte võimalik. See võtab meeletu aja ning on väga kallis. Ja isegi kui keegi üritaks, ei õnnestu see ikkagi, sest puuduvad meetodid, kuidas kõrge IR ja RR saavutada. Seetõttu kasutatakse lõdvemaid valimi kujundamise meetodeid ning valim juhitakse reeglina sotsiaaldemograafiliselt proportsionaalseks vajalike vastajarühmade kvoote kasutades.

Kvootide rakendamine (kvootvalim) on aga puhta juhuvaliku reeglites keelatud, kuna see on kunstlik sekkumine valimi kujundamisse. Standardhälbe valem ju ei tea, mis valimiga üldse tegemist on ja kuidas seda juhiti ning seetõttu on igasugune kunstlik sekkumine keelatud. Seega, statistilise vea marginaali valem ei kehti ühegi sellise uuringu puhul.

Küsitlusmeetodite kasutus

Neljast uuringufirmast, mis oma prognoosi enne valimisi esitasid, kasutasid kaks või kolm (erinevatel andmetel) veebiküsitluse ja telefoni küsitluse kombinatsiooni ja vähemalt üks ainult veebiküsitlust. Võiks arvata, et ainult veebiküsitlust kasutanu pidi Reformierakonna valimistulemusele lähedale saama (nende valija on ja oli valdavalt e-hääletaja), aga ei saanud.

Telefoniküsitluse probleem on üldiselt madal vastamise määr (RR), rahvusvahelise keskmisega kuskil 25 protsendi kandis (mõnel juhul võib ka kõrgema taseme saavutada). Igal juhul tõmbab madal RR samuti jalad alt igasugusel juhuvaliku arutelul.

Veebiküsitluses pole juhuvalik isegi teoreetiliselt võimalik. Veebiküsitlusi tehakse uuringuteks eelvärvatud paneelide käigus, mis on väljavõte kogu populatsioonist ja uuringu valim on seega väljavõte väljavõttest. Seetõttu hinnatakse veebiküsitluste kvaliteeti hoopis teiste kriteeriumidega, eelkõige veebipaneeli kvaliteedi kaudu, milleks peab vastama 28-le ESOMAR-i küsimusele.

Samal ajal on teada, et mida sensitiivsem teema, seda usaldusväärsemad on muude võrdsete tingimuste juures veebiküsitluses antud vastused (privaatne vastamiskeskkond).

Küsitlusmeetod ja suhtluskanalid

Veebiküsitlused ja telefoniküsitlused on tänapäeval levinuimad. Kuigi telefonide penetratsioon on Eestis veidi kõrgem kui interneti penetratsioon, on ka viimase levik 92 protsenti elanikkonnast, mistõttu veebiküsitluse kasutamiseks ei ole põhimõttelisi probleeme. Aga kas telefoniküsitlus ja veebiküsitlus ikka sobivad põhimõttega, et kogu sihtrühmal peab olema võrdne tõenäosus sattuda küsitlusvalimisse?

Tänapäeva ühiskond on suhtluskanalite kasutuse mõttes väga diferentseerunud. Osa inimesi eelistab endiselt vahetut suhtlemist, osa eelistab e-kirja teel suhtlemist, osa on nõus ka telefoni teel suhtlema, osa aga elab peamiselt sotsiaalmeedias (Tiktok, Tiktok!).

Siit probleem: milline on see suhtluskanal, mis sobib küsitluste läbiviimiseks kõigile ja vastaks valimi ühtlase katmise nõudele? Tänapäeval sellist kanalit polegi, mis võtab taas võimaluse rääkida kogu populatsiooni läbilõikest küsitlusvalimite kujundamisel. Need probleemid on juba aktuaalsed ja esialgu pole ka silmapiiril universaalsemaid lahendusi.

Ajafaktor

Ülaltoodu ei tähenda, et selliste küsitluste tulemused oleks tingimata valed, vaid seda, et me ei tea kas on või ei ole, ning puudub ka võimalus nende tõeväärtuse aprobeerimiseks (etaloni ei ole ja standardhälve ei kehti).

Tõtt-öelda on valimiste-eelsed küsitlused praktiliselt ainsad, kus tulemuste tõeväärtust on võimalik hinnata, nimelt valimistulemustega võrreldes. Aga siin kerkib esile järjekordne probleem: ajafaktor.

Äsjaste uuringute puhul oli näha, et varaseima uuringu tegija tulemused olid kõigi erakondade tulemuste suhtes praktiliselt täpsed, välja arvatud kahe peamise konkurendi (Reformierakond ja EKRE) osas. Hiljem valminud uuringuid, mis olid jätkuks varasematele monitooringutele, iseloomustas aga see, et kahe peamise konkurendi reitingud hakkasid viimase nädala-kahe jooksul hüppama, sealjuures nii õiges kui ka vales suunas (vt: Uuringufirmade küsitlused lahknevad drastiliselt EKRE reitingu osas, ERR).

Kui eeldada, et nende firmade metoodikad olid kogu aeg samad, tulebki mängu ajafaktori ja valijate käitumise temaatika. Näib, et viimase nädala-kahe jooksul hakkas valijate eelistus liikuma. Tõenäoliselt nii, et võitjaerakonna valijad aktiveerusid ja tulid valima ning valikus kahtlejad, kes otsustasid siiski hääletada, tegid lõpuks turvalise valiku (samas suunas).

Seda on küsitlustega väga raske ette näha. Ainus võimalus oleks, et viimane mõõtmine toimuks võimalikult hilja. Võib-olla oli see vaid nende valimiste eripära, kuid teame ka seda, et neli aastat tagasi nii tihedalt reitinguid ei selgitatud, ehk eripära ei pruukinud ka nüüd olla.

Mida siis teha?

Kõike kokku võttes on valijate eelistuste mõõtmiste erinevused kui mitte paratamatud, siis vähemalt objektiivselt väga võimalikud. See mõistagi ei rahulda kommenteerijaid.

Mida siis teha? Otsekohene vastus on, et midagi pole teha. Tuleb kas võtta see, mida pakutakse, või loobuda valimiseelsete küsitluste tellimisest ning tegemisest. Viimane pole uuringufirmadele eriline probleem. Selliste küsitluste majanduslik väljund on neile pea olematu. Neid tehakse muudel põhjustel. See on probleem pigem meediale, mis küsitlusi tellivad ja neist uudiseid teevad.

Teema kommenteerijad on pakkunud ka mõningaid lahendusi. Vaatleme neid lühidalt.

Esiteks, näidata tulemuste juures statistiline viga. Seda, nagu selgitatud, pole paraku olemas.

Teiseks, uuringufirmad peaks kokku leppima mingites standardites, kuidas uuringuid tehakse (meetod, valim, valimi juhtimine, küsimuste sõnastus jms). Sellise standardi jaoks pole mingit vajadust. Need on rahvusvahelistes ESOMAR-i reeglites olemas, uuringufirmad teavad neid ja püüavad jõudumööda (arvestades ratsionaalseid piiranguid) ka rakendada. Ja kui mõnel uuringufirmal juhtub olema mingi trikk, kuidas usaldusväärsemat tulemust saada, siis seda ta niikuinii teistega ei jaga.

Kolmandaks, iga uuringu juurde tuleks lisada ka kirjeldus, kasutatud küsitlusmeetodist, valimi kujundamise põhimõtetest, küsimuste sõnastustest jms. Selle soovi mõte näib olevat parema aluse saamine hilisemateks kommentaarideks, hinnanguteks ja võrdlusteks. Kui selle loo neli põhipunkti (uuesti) läbi lugeda, siis on selge, et vastavast infost pole mingit kasu. Kui tulemused erinevad, annab see lihtsalt täiendava võimaluse spekulatiivseid kommentaare kokku kirjutada. Kirjeldatud "musta kasti" tegurid jäävad ikka kehtima.

Ainsaks võimaluseks näib olevat see, et viimane valimiseelne küsitlus viidaks läbi võimalikult hilja. Ütleme, et küsitlus lõppeks umbes kolm päeva enne valimisi, et e- ja eelvalimistel hääletanuid on küsitlusevalimis juba arvestatav hulk ning tulemused avaldataks korraga valimiste eelõhtul. Siis tekib aga küsimus, kellele ja kui palju need veel huvi pakuvad.

Loodame, et neist selgitustest oli asjast huvitatuile kasu ja vähemalt nelja aasta pärast toodud põhipunktid meelde tuletatakse.