Eksperiment: Delfi valimismootor Reformi poole kaldu

Kes meist ei armastaks igasugu testikesi ja küsitlusi? Valimiste eel on eriti põnev – enda valimismasina on püsti pannud nii ERR kui Delfi. Toksi aga eelistused sisse ja masin ütleb, kui palju sinu vaated eri parteidega kokku langevad.

Delfi reklaamib koostöös MTÜga Valimisvaatlus loodud valimismootorit kõige põhjalikumana. Aga niipea, kui see käima pandi, hakkas sotsiaalmeedias levima hämmeldus. „Kuidas see Reformierakond nii kõrgel on?“ kõlas põhiline küsimus.
Ekspressi palvel vastasid 15 inimest nii ERRi valijakompassi (mille koostajaks on Tartu Ülikool) kui Delfi valimismootori küsimustele. See pole mingi akadeemiline uurimus, mis pretendeerib absoluutsele tõele, vaid lihtne ajakirjanduslik eksperiment.

Tulemused näitasid, et mingil põhjusel sai Reformierakond Delfi valimismootoris tunduvalt kõrgema tulemuse.

Võtame näiteks allakirjutanu, Dannar Leitmaa – ERR andis oravatele alles kolmanda koha, kuid Delfi kindlalt esimese. Või reklaamimüüja Eigo – ERRis oli reformarid viiendad, aga Delfis esimesed. Või üliõpilane Johanna – reform ERRis neljas, Delfis esimene. Või Lõuna-Eesti kultuuritöötaja Kaili – reform ERRis viies, aga Delfis napilt teine. Või toimetaja Toomas – ERRis reform neljas, Delfis teine.

15st katsetajast jäi Reformierakonna koht samaks neljal. Ühel neist oli mõlemas portaalis oravapartei neljas, ülejäänul kolmele näitas juba ERR reformierakonda esimese valikuna, ja asi see siis Delfiski „võita“ polnud. Ühelgi katsetanul polnud reformarite koht Delfis küsitluses madalam kui ERRi omas. Samal ajal langes Delfi tulemustes pea alati Keskerakonna toetus.

MTÜ Valimisvaatlus poolt suhtles valimismootori loomisel Delfiga põhiliselt Priit Kallakas, kes on Reformierakonna liige. Kas tema erakondlik kuuluvus võis tulemusi mõjutada?
Kallakas ütles kindla ei. Kuid täpsemalt soovitas valimismootori loomisel teemal rääkida MTÜ juhatuse teise liikme Lauri Lippmaaga.

Lippmaa põhjendab Ekspressile saadetud kirjalikus selgituses kahe valimiskompassi erinevusi erakondade erineva sisendi, ekspertkomisjoni erinevate hinnangute ja algoritmide erinevuse. Järgneb pikk selgitus, kus tuuakse välja Delfis kasutatava Tukey topeltruudu kaalude ja ERRi kasutatava Manhattani kauguse meetodi erinevus. Kogu asi on tehnilistes üksikasjades. Pikemalt saate tema selgitusi lugeda selle loo lõpust.

Lippmaa sõnul oli Kallakase roll koos teiste juhatuse liikmetega küsimuste koostamine ja eksperthinnangute andmine. „Erandiks Reformierakonna vastuste kohta antud hinnangud, millest Priit Kallakas end enesestmõistetavalt taandas,“ teatas Lippmaa. „Valimismootori eksperthinnangud kujunesid välja konsensuslikult ehk teisisõnu, mitte ühelgi liikmel polnud selles protsessis määravat rolli.“

Samas võib palju määrata ka küsimuste sõnastus. Näiteks ühiskonna keema ajanud kooseluseadust käsitleb valimismootor küsimusega „Kas kooseluseadus aitab paare, kes pole veel abielus?“

Rein Raud kirjutas mootorit hinnates Facebooki, et teesid on „äärmiselt kallutatud traditsioonilise konservatiivse ja parempoolse ilmavaate poole“ ja tõi veel kummalise sõnastuse näiteid: "Ma "üldse ei nõustu" teesiga "Eesti peaks seadustama venekeelse gümnaasiumihariduse", kuid minu teada ei ole ei KE ega SDE seda ka nõudnud - protestitud on (jabura ja tulemusi mitte andnud) viisi vastu gümnaasiumi eestikeelseks muuta. "Inimene peab maksma ainult selle eest, mida tarbib, seetõttu tuleb tõsta käibemaksu ja langetada tulumaksu" – see on demagoogiline RE seisukoht, kuna arvutada oskav isik saab aru, et nii annavad 200 ja 5000 teeniv isik samasuguse toidukorvi eest ära erinevad protsendid oma sissetulekust.“

Delfi loovjuht Ester Vaitmaa märkis, et valimismootorit on kasutatud paarkümmend tuhat inimest. „Etteheiteid mõne erakonna poolde kaldu olemisest ei ole me saanud. Elevust on tekitanud kahe analoogse toote olemasolu Eestis ning on neid, kellel on tulemused identselt ühildunud ning neid, kel on olnud erinevaid. Delfi valimismootor on laiapõhjalisem, kaasab rohkem erakondi ja seega pakume ka selle täitjatele mitmekülgsemat valikut. Mõlemad valimismootorid on tehtud oma ala spetsialistide poolt ning kasutades tunnustatud meetodit. Valimismootori küsimustikud said kõik erakonnad ning samamoodi osalesime Delfi poolt nende koostamisel ja konsulteerimisel, seega praeguses variandis ei muudaks me midagi.“

---

Valimismootori looja selgitused

Vastab MTÜ Valimisvaatluse juhatuse liikme Lauri Lippmaa:

Millest selline erisus ERR-i ja Delfi valimismasinate vahel tulla võib?

ERR-i valimiskompass ja Delfi valimismootor on oma põhimõttelises ülesehituses sarnased üle maailma toimivate valimiskompassidega, milles tulemus ehk vastused esitatud küsimustele kujuneb kahes järgus: esmalt erakondade endi vastustes ja seejärel ekspertide nii-öelda tasakaalustavas hinnangus, mis tugineb eelkõige valimisprogrammide ja erakondade avalike seisukohtade analüüsile.

Eesti kahe valimiskompassi erinevus seisneb eeskätt erinevates küsimustes, teemade rõhuasetuses ja valimismasina ülesehituse algoritmis. Ehk teisisõnu, konkreetsete valimismootorite erinevus saab tuleneda kolmest aspektist: 1.) erakondade erinev sisend (näiteks erinevate inimeste antud vastused), 2.) ekspertkolleegiumi erinevad hinnangud ja 3.) algoritmide erinevus.

Delfi valimismootori on välja töötanud Tartu ülikooli matemaatilise statistika doktorant Kaur Lumiste, kes kasutas erakondade sarnasuse hindamiseks Tukey topeltruut kaale. ERR kasutas oma valimiskompassis Manhattani kauguse meetodit. Mõlemad algoritmid on oma heade külgede, aga ka vigadega ning nende eelistamine sõltub eeskätt matemaatika koolkondadest.

Detailsemalt lahti seletades seisneb kahe valimismootori erinevus selles, et kui kasutaja vastab mõne väite puhul samamoodi nagu erakond, siis on sarnasus 100 protsenti. Kui see aga erineb antud viieastmelisel skaalal ühe või kahe skaalapunkti võrra, siis peab sarnasust vähendama. ERR-i valijakompassis väheneb sarnasuse kaal lineaarselt, Delfi omas aga väheneb eksponentsiaalselt ehk teisisõnu, kui vastuste vahe on kolm või enam skaalapunkti, siis sarnasuse mõõtmesse midagi ei lisata. Selgitan, kui vastaja vastus erineb kolme skaalapunkti võrra, siis ei saa sarnasusest ju rääkida. See diferentseerib erakondade vaadetega sarnanemist rohkem. Järgnevalt väike „tabel“, mis näitab kaalude erinevust täisväärtusega vahede puhul:

Vastuste vahe: 0 -> 1 -> 2 -> 3 -> 4

ERR (Manhattani kaugus): 1 -> 0,75 -> 0,5 -> 0,25 -> 0

Delfi (Tukey biweight): 1 -> 0,79 -> 0,31 -> 0 -> 0

Seega sarnasuse mõõtmisel leitakse vastaja ja erakonna vastuse vahe ning mida suurem vahe, seda väiksem „panus“ lisatakse sarnasuse mõõtmesse. Näiteks, kui kodeeritult andis kasutaja skaalal vastuse väärtusega kolm ja erakond samuti kolm, siis lisatakse maksimaalne „panus“. Kui vastaja andis aga väärtuseks neli, siis on vastuste vahe üks skaalapunkt ja „panust“ vähendatakse (näiteks 0,75 x „maksimumpanus“), sest vastused ei ole enam sajaprotsendiselt identsed, ent samas mingi lähedus ikkagi eksisteerib.

Antud panuse vähendamises erinevus seisnebki. Kui ERR-i mudel vähendab „panust“ lineaarselt ehk kui vastuste vahe suureneb 0 -> 1 -> 2 -> 3 -> 4, siis on „panused“ sarnasuse mõõtmesse vastavalt 1 -> 0,75 -> 0,5 -> 0,25 -> 0. Delfi oma muutub eksponentsiaalselt ja kui erinevus on kolm skaalapunkti, siis ei lisata sarnasuse mõõtmesse enam midagi ehk 1 -> 0,79 -> 0,31 -> 0 -> 0.

Miks nii? Kui vastaja vastab väite puhul sõnades „Pigem nõustun“ aga erakond „Ei nõustu üldse“, siis Delfi puhul lisatakse sarnasuse mõõtmesse 0, kui „Pigem ei nõustu“, siis 0,31, sest väite puhul ollakse erinevatel arusaamadel. ERR-i valijakompassi puhul lisatakse esimesel juhul 0,25, teisel juhul 0,5. Ühe skaalapunkti erinevuse korral lisatakse mõlemal juhul umbes sama palju – vastavalt 0,79 ja 0,75.
Mõlema kompassi puhul summeeritakse lõpuks kaalud kõiki vastuseid arvesse võttes ning jagatakse läbi küsimuste koguarvuga (ERR-is toimub muidugi veel iga küsimuse kaalumine, aga see siia hetkel ei puutu).

Kas tegu võib olla küsimuse sõnastustes (ala kooseluseaduse küsimus, kus näiteks Delfis on kooseluseaduse küsimus selline, et tükk aega ei saa aru, et mida küsitud on) või tuleb see millestki muust?
Küsimuse sõnastus ja arusaadavus võib kindlasti mängida rolli tulemuse kujunemisel, kuid nii erakondadele kui ka vastajatele esitati täpselt samad küsimused ehk peamine erinevus peitub ikkagi valemis endas. Kuna me pole analüüsinud, kuidas vastasid erakonnad ERR-i valimiskompassile, siis ei oska hetkel kommenteerida erakondade erinevat hindamist.
Nagu eelnevalt mainitud, kujunes parteide antud lõplik väärtus erakondade endi sisendist ja Valimisvaatluse ekspertide tasakaalustavast hinnangust. Erakondade sisendi kaaluks oli 0,7 ja valimisvaatluse kolleegiumi kaaluks 0,3.

Kuna sellise tähelepaneku puhul tuleb igal juhul Priit Kallakase ja erakondlik kuuluvus küsimuseks, siis kui palju ta antud masinaga tegelesid?
Neljast politoloogist koosnev Valimisvaatlus ei ole kunagi varjanud, et Reformierakonna liige Priit Kallakas kuulub MTÜ juhatusse. Läbipaistvus on alati olnud meie peamine põhimõte, eriti veel poliitilise neutraalsuse küsimuses. Priit Kallakase roll oli sarnaselt teistele MTÜ juhatuse liikmetele küsimuste koostamises osalemine ja eksperthinnangute andmine. Erandiks olid siinkohal Reformierakonna vastuste kohta antud hinnangud, millest Priit Kallakas end enesestmõistetavatel põhjustel taandas.
Küsimuste koostamine oli teemablokkide kaupa jaotatud kõigi meie nelja vahel. Formuleerisime esmalt märksa suurema hulga algseid küsimustoorikuid, millest hiljem valisime välja nii-öelda paremad, mida veel omakorda täpsustasime ja mille lõplikku sõnastust lihvisime neljakesi koos. Lisaks meile endile esitas küsimusi ka Delfi toimetus. Küsimuste sõnastust lihvides püüdsime neid muuta selliselt, et küsimuses oleks sees mingi tahk, mis ei lubaks ainult populistlikult vastata (näiteks “Kas te pooldate kõrgemaid pensione?”).
Valimismootori eksperthinnangud kujunesid välja konsensuslikult ehk teisisõnu, mitte ühelgi liikmel ei olnud selles protsessis määravat rolli.
Olgu veel eraldi lisatud, et peale Priit Kallakase ei kuulu ükski teine Valimisvaatluse liige ühtegi erakonda. Samuti oleme alati jälginud kõigis oma politoloogilistes tegemistes sarnaselt arstide Hippokratese vande eetikale objektiivsuse printsiipi.