Uuringu juht, TLÜ emakeeleõpetuse ja rakenduslingvistika lektor Merilin Aruvee on olnud mõnda aega kaasatud 9. klassi e-eksamite katsetustesse. Koos oma doktorandi ja nooremteaduri Katarin Leppikuga arendas Aruvee 9. klassi lõpueksami kirjandit ehk kirjutamisülesannet ja töötas välja uued hindamiskriteeriumid. Sealt sai alguse küsimus: kas annaks hindamisse kaasata tehisaru?

"Kirjeldasime eksamitööde hindamise kriteeriume täpsemini ja uurisime hindamismudeleid mujal maailmas. Harno hindajad ehk kogenud emakeeleõpetajad proovisid nende kriteeriumite järgi hinnata, kogusime tagasisidet ja kohendasime mudelit vastavalt õpetajate soovitustele. Kui humanitaarteaduste instituuti asus tööle tehisaru lektor Andres Karjus, hakkasime mõtlema: kuidas oleks, kui nende kriteeriumite alusel hindaks õpilaste eksamitöid tehisaru?" rääkis Aruvee.

Uuringusse kaasati ka TLÜ digitehnoloogiate instituudi nooremteadur Kais Allkivi, kes on tegelenud eesti keele kui teise keele õppijate keeleoskuse hindamisega masinõppe abil.

Keelemudel pakub samu hindeid, mis inimene

Teadlased tegid harnoga lepingu ja küsisid 2024. ja 2025. aasta katseeksami tööd analüüsimiseks. Katseeksamitööd saadi kodeeritud kujul, anonüümsetena, kus oli näha üksnes tekst ja see, mis hinde hindajad olid pannud.

Uuringu tulemusel jõudsid teadlased järeldusele, et keelemudelid pakuvad üsnagi sarnaseid hindeid kui inimesed.

"Kui inimestevaheline varieeruvus võib olla päris suur, siis keelemudel jääb 60 protsendil juhtudest samadesse piiridesse, kus inimesed omavahel varieeruvad. See tähendab, et mudelite hinded ei erine üleliia palju inimeste pakutud hinnetest," selgitas Aruvee.

Põhikooli eksameid ootavad ees sisulised ja vormilised muudatused: plaanide järgi peaks põhikooli e-eksam eesti keeles kui emakeeles minema käiku 2027. aastal. Uuel eksamil hakatakse muude uuenduste hulgas nõudma ka alusteksti kasutamist. Ühes nende muudatustega oleks võimalik mõnes hindamise etapis kasutada tehisaru abi.

Hindamismudelis on alusteksti kasutamise maht ja põhimõtted selgelt sõnastatud.

"Alusteksti kasutamise kriteerium eristus meie analüüsi järgi kõige selgemini: seda saab väga üheselt hinnata. Samas oskaks masin siin inimest aidata: masin saab alusteksti ja õpilase teksti võrrelda ja näidata, millised lauseosad on alustekstist otse kopeeritud või kuidas on õpilane alusteksti refereerinud. Alusteksti kasutamise kriteeriumi puhul langes masina ja inimese hinne üsna hästi kokku," selgitas Aruvee.

Inimesest hindaja teeb lõpliku otsuse

Kui Aruvee sõnul sobib keelemudel hästi hindama alusteksti kasutamist, siis on ka kriteeriume, kus võiks vajalik olla inimpilk: nagu teksti sissejuhatuse probleemipüstitus, lõigu veenvus või lõpetuses teksti tervikuks sidumine. 

Tehisaru abi pole seni hindamisprotsessis kasutatud, seega ei ole teada, kuidas ja mismoodi eri kriteeriumite hindamisel tehisaru kaasata saaks. See vajab omaette uurimist ja katsetamist ning hindajate ning kirjutajate poolset vaadet.

"Mulle isiklikult tundub, et just lõpetuse kirjutamine on koht, kus inimene ise peaks ikka pigem oma subjektiivse hinnangu ütlema. Küsimus ju on, kas tekst tekitab tema meelest sisulise ja mõttelise terviku. Siin loeb hindaja kogemus, mis kujuneb seniste loetud tekstide põhjal ja 9. klassi õpilaste kirjutamistaseme üldine tundmine," sõnas teadlane.

Aruvee sõnul oli teadlaste algne mõte vaadata, kuidas suured keelemudelid üldse käituvad ja mida oskavad, sest see on üldse juhuslik, et nad oskavad eesti keelt.

"Enamasti on keelemudelites internetist võetud tekstid, kuid õppija teksti ei tunne keelemudel ju üldse. Õppija tekst on teistsugune, emakeeleõppija puhul sisaldab see omamoodi vigu, näiteks väga pikka ja katkestamata mõttevoolu, kus on näha, et õpilase mõte on väga siiras, lausa nunnu, aga see mõttekäik ei ole liigendatud selgeteks osalauseteks, vaid oleks nagu otse peast paberile voolanud. Asjaolu, et sellist teksti oskab ka keelemudel üsnagi adekvaatselt hinnata, oli meie jaoks üsna suur üllatus," lausus Aruvee.

Samuti tuleb silmas pidada seda, et nii Euroopa Liidu direktiivid kui ka üldine hea tava ei luba masinal teha lõplikku otsust inimese tekstile.

Teadlased tutvustavad tulemusi harnole

Veebruaris kohtub Aruvee ka harnoga, et tutvustada neile uuringu tulemusi.

"Enne seda ei saa me veel uuringu osas seisukohta võtta," ütles harno pressiesindaja ERR-ile.

Aruvee ütles, et teadlasena on tema ülesandeks kirjeldada olukorda ja pakkuda lahendusi.

"Saan öelda: tegime sellise töö, tulemused on sellised, nüüd võiks edasi mõelda. Mul on hea meel, kui nende võimaluste üle saab avalikult arutada," lausus Aruvee.

"Tõsi on, et tänapäeva õppija ei viibi enam üksnes toimetatud tekstide ruumis. Tema kirjutamisoskus vajab üha rohkem tuge ja täpseid juhiseid. Katse käigus saime näiteks 9. klassi materjalist teada, et alusteksti kasutamine vajab veel harjutamist. Tarvis on edendada alusteksti põhjal kirjutamise metoodikat, töötada välja õppematerjale, mis suunavad õppijat seda paremini tegema," lausus Aruvee.