Prorektor: rahastustaotluste AI-ga hindamine võib mõjutada kogu teadussüsteemi

Plaan katsetada teadusrahastuse taotluste hindamiseks tehisaru eeldab põhjalikku analüüsi, sest see võib mõjutada kogu teadussüsteemi ja murekohaks on nii andmekaitseriskid kui küsimus, kes hinnangu eest vastutab, ütles Tartu ülikooli teadusprorektor Mari Moora. Teadusagentuuri juhi Kristiina Tõnnissoni sõnul katsetatakse praegu alles katsetamist ning ühtki otsust pole veel tehtud.
Teadusagentuur (ETAG) plaanib katsetada tehisaru kasutamist teadusrahastuse taotluste hindamisel ning teavitas sellest ka Tartu ülikooli.
TÜ teadusprorektor professor Mari Moora teatas teadusagentuurile seepeale, et uute tehnoloogiliste lahenduste katsetamine on positiivne, aga kuna tegu on eksperimendiga, mis mõjutab teadlaste võrdset kohtlemist, hindamisprotsessi läbipaistvust ja teadusrahastuse süsteemi usaldusväärsust, tuleb kaaluda selle võimalikke laiemaid mõjusid.
"Teadlaskonnani jõudnud kirjast ei selgu kavandatava tegevuse olemus – kas tegemist on teadusuuringu, tehnoloogilise valideerimiskatse, hindamismetoodika arendamise või haldusmenetluse täiustamisega ning millist konkreetset ülesannet tehisaru kavandatavas katses täitma hakkab," sõnas Moora.
Ka ei tule tema sõnul kirjast välja, kuidas suhestub tehisaru kasutamine olemasoleva eksperthindamisega ja milliste kriteeriumide alusel plaanitakse hinnata katse tulemusi. Enne kui katset läbi viia, vajab Moora hinnangul mitu küsimust täpsustamist, näiteks, kuidas tagatakse andmekaitse ja konfidentsiaalsus.
"Praegu puudub teave selle kohta, kas andmeid töödeldakse väliste tehisaruteenuste pakkujate platvormidel või ETAGi kontrollitud keskkonnas, milliseid lepingulisi ja tehnilisi kaitsemeetmeid kasutatakse ning kuidas on hinnatud võimalikke andmekaitse- ja konfidentsiaalsusriske," loetles prorektor.
Ta rõhutas, et teadusideed võivad sisaldada tundlikku või avaldamata teavet, mistõttu peavad need küsimused enne katsega alustamist vastuse saama.
Murekoht on ka hindamise kvaliteet ja võrdse kohtlemise tagamine. Moora tõi välja, et seni ei ole selgitatud, kuidas kavatseb teadusagentuur hinnata tehisaru kasutamise mõju hindamiskvaliteedile tervikuna ja kuidas hinnatakse võimaliku kallutatuse või ebavõrdse kohtlemise riske.
"Eriti oluline on minu hinnangul analüüsida mõju erinevatele teadusvaldkondadele, uurimistraditsioonidele ja metoodilistele lähenemistele ning tagada, et uudsed, kõrge riskiga või tavapärasest erinevad teadusideed oleksid hinnatud õiglaselt ka siis, kui hindamisprotsessis kasutatakse tehisaru," lausus Moora.
Kes vastutab tehisaru antud hinnangu eest?
Lisaks tekitab küsimusi ka vastutus. Moora märkis, et kui ekspert vastutab oma hinnangu eest isilikult ja kinnitab, et tal pole huvide konflikti ning valesti käitudes riskib ta oma renomeega, siis tehisaru puhul on keeruline mõista, millistele kaalutlustele ta hinnangus tugineb.
"Kui tehisaru väljund mõjutab rahastusotsust, võib see raskendada otsuse põhjendatuse ja õiguspärasuse hindamist, mis omakorda tekitab küsimuse, kuidas sellist otsust haldusmenetluses sisuliselt vaidlustada või kontrollida, sealhulgas veenduda, et otsustamisel ei ole esinenud kaalutlusvigu või muid menetluslikke puudusi," lausus teadlane.
Kuna eeldatavasti on katse eesmärk hinnata tehisaru kasutamise võimalusi teadusrahastusotsuste ette valmistamisel, tuleks Moora sõnul hinnata mitte ainult seda, kuidas olemasolev tehniline lahendus toimib, vaid ka seda, kuidas see võib kogu teadussüsteemi mõjutada.
"Hindamissüsteemid mõjutavad paratamatult teadlaste käitumist ning seetõttu tuleks tähelepanu pöörata ka riskile, et teadlased hakkavad tulevikus oma taotlusi kujundama algoritmiliste süsteemide eelduste või ootuste järgi, mitte viisil, mis kõige paremini toetab teadusliku idee sisulist esitlust ja eksperthindamist," lausus Moora, kelle sõnul võib see vähendada teadusasutuste vabadust arendatavaid uurimissuundi valida.
TÜ prorektor rõhutas, et küsimuste aluseks pole vastuseis tehisaru kasutamisele ega teadusrahastusprotsesside arendamisele, kuid neid võimalusi tuleb piisavalt uurida, läbi mõelda ja teadlaskonnaga läbi arutada.
Omaette küsimus on ka teadusrahastussüsteemi jätkusuutlikkuses. Moora selgitas, et generatiivne tehisaru võib taotluste hulka märkimisväärselt suurendada, samas kui kvaliteetne eksperthindamine sõltub piiratud arvust valdkonna ekspertidest. Seepärast on ka teadlastele tähtis, et arutletaks, kuidas tagada rahastus- ja hindamissüsteemi kvaliteet olukorras, kus taotluste maht kasvab eksperthindamise võimekusest kiiremini.
Teadusagentuur: katse otsibki neile küsimustele vastuseid
Teadusagentuuri juht Kristiina Tõnnisson ütles ERR-ile, et praegust võib nimetada katsetamise katetamiseks ning selleks on käsile võetud juba hindamise läbinud projektid.
Nüüd võrreldakse, kui palju erinevad tehisaru abil teadusprojektidele antud hinnangud juba olemasolevatest ekspertide antud hinnangutest, et tekitada võrdlusbaas.
Moora välja toodud murede kohta ütles Tõnnisson, et katses kasutatakse üksnes projekte, mille vastutajad küsisid oma meeskonnalt üle, kas kellelegi on sellega probleeme ja neid ei olnud. Hindamiskatse tehakse paaril platvormil, mis selleks välja valiti ja ehkki kaaluti ka oma majasisese süsteemi arendamist, saadi aru, et eestikesksed arendused on märksa kehvema tulemusega kui suured keelemudelid.
"Nii et jäime efektiivsuse mõttes suurte keelemudelite peale, aga need on kinnised keskkonnad," selgitas ta.
Ohu kohta, et tehisaru eelistab hindamisel juba tuttavaid ideid ja diskrimineerib originaalseid mõtteid, ütles Tõnnisson, et kõikide nende riskidega tegeletaksegi ning praeguse katsetuse põhjal seda vaadeldakse. Katsest peaks välja kooruma, milliste kriteeriumide puhul AI-ga hindamine ei tööta, millisel puhul teeb ta häid kokkuvõtteid ja millal mitte.
"Loodame sellele saada rohkem vastuseid, enne kui hakkame ütlema, et kaalume reaalses olukorras tehisaru abi kasutamist," lausus teadusagentuuri juht.
Esimesed järeldused loodab teadusagentuur praegusest katsetusest saada umbes kuu aja pärast ehk enne jõule ning siis saab ka edasi mõelda, kas selles suunas on võimalik tulevikus edasi liikuda.
Toimetaja: Karin Koppel









