Kristel Uiboaed: keeleandmed on enamat kui tehisaru tooraine

Keelepõhise tehisintellekti plahvatusega on plahvatuslikult kasutusse läinud ka termin "keeleandmed", kuid selle sisu on endiselt akadeemilistest ringkondadest väljaspool hägus. Kristel Uiboaed kirjutab, mis need müstilised keeleandmed siis õigupoolest on.
Termin "keeleandmed" võib tunduda tehniline ja uus, kuid tegemist ei ole tehisaru ajastu sünnitisega. Keeleteadlased on keeleandmetega tegelenud aastakümneid, kui isegi mitte aastasadu: juba F.J. Wiedemann kogus ja kasutas 19. sajandil keeleandmeid, et eesti keelt grammatikas ja sõnaraamatus kirjeldada.
Süstemaatilisemaks on keeleandmete kogumine ja säilitamine muutunud viimastel aastakümnetel. Keeleandmeteks võib muutuda mis tahes tekst või kõne – ajalehe artikkel, e-kiri, vanaema lood oma lapsepõlvest, tekstivestlus või häälsõnum –, mille abil mõnda aspekti keelest uurida, kirjeldada või üldistada.
Keeleandmete abil saame uurida mitte ainult keelt, aga ka muid sotsiaalseid ja kultuurilisi nähtusi. Näiteks saame avalike tekstide põhjal uurida, kuidas on viimase saja aasta jooksul muutunud arusaamad naiste rollist ühiskonnas. Võrdlus 1930. aastate ja tänapäeva ajakirjanduse vahel võib üllatada. Mitte ilmtingimata sellega, kui palju on saja aastaga muutunud. Seetõttu on keeleandmed oluline töövahend ka sotsiaalteadlastele.
Kõige andmepõhisemaks keeleteaduse haruks saab ajalooliselt pidada ehk murdeuurimist, sest murdekeelt on süstemaatiliselt kogutud lindistatud ja uuritud Eestis teadaolevalt alates 1920. aastatest ning meil on sellest materjalist üsna suured, kättesaadavad ja hästi dokumenteeritud kogud.
Ka sõnaraamatute koostamisel ning sõnavara, grammatika ja häälduse uurimisel on aastasadade pikkune traditsioon. Vanade käsikirjade säilitamine, hoidmine ja kättesaadavaks tegemine on olnud arhiivide ja muuseumide üks kesksetest rollidest nende tekkimise algusaegadest.
Tööriistad on muutunud ning käsikirjadest ja kartoteegikaartidest on saanud digitaalsed mugavalt otsitavad kogud ning paberi, pliiatsi ja sahtlite asemel kasutame arvutit. Andmete kogumise eesmärk, soov keelt ja ühiskonda paremini mõista, on endiselt sama.
Kirjakeele uurimiseks vajalikke andmestikke luuakse tavaliselt ilukirjandusest, ajakirjandustekstidest, dokumentidest, veebilehtedest, kirjavahetustest või sotsiaalmeediapostitustest. Suulist keelt uuritakse vestlusandmete, intervjuude, murdelindistuste, podcastide, raadiosaadete jmt materjali abil.
Osa keeleandmeid võib olla juba mingil moel struktureeritud näiteks sõnaraamatud, terminibaasid, märgendatud korpused, sõnaloendid jmt. Keeleandmete hulka kuuluvad ka multimodaalsed andmed nagu näiteks videolindistused mingist suhtlusolukorrast ning eraldi kogutakse andmeid viipekeele uurimiseks.
Keeleandmed sisaldavad reeglina hulgaliselt lisainformatsiooni, mida algallikas ei ole. Andmestiku loomisel ehk märgendamisel lisatakse tekstile või lindistusele näiteks info häälduse kohta (intonatsioon, rõhud, pealerääkimised), vormiehituslik info (käänded, pöörded, ainsus, mitmus), mõnikord ka kontekstikirjeldus, rääkijate sotsiaaldemograafilised tunnused jmt. See lisainformatsioon on oluline, sest võimaldab uurida keelekasutuse erinevaid aspekte.
Digitaalsed andmed teevad uurimise kordades lihtsamaks ja võimaldavad teha üldistusi suurema materjali pealt ja rakendada mitmekülgsemaid meetodeid. Miljonite raamatute läibilugemiseks oleks inimesel vaja mitut elu, kuid seda on võimalik teha ühe arvutiga.
Miks ja milleks me keeleandmeid kasutame?
Arusaadavalt poleks olemas tänapäevast keeleuurimist, kui meil poleks võimalik keeleandmeid koguda. Kuigi ajalooliselt on keelt uuritud ainult keeleuurija isiklikule keelevaistule tuginedes, siis tänapäeval tehakse tähelepanekuid ja üldistusi mitmekülgsemalt ja laiapõhjalisemalt.
Kui soovime uurida keele muutumist ajas, siis selleks on meil vaja andmestikku, mis sisaldaks tekste võimalikult pikast ajaperioodist. Nii saame vaadelda, kuidas keelde tekivad uued sõnad ja mõisted, kuidas muutub keele grammatiline struktuur. Samuti saame selliste andmete pealt jälgida, millal ühe põlvkonna moodsast slängist saab järgmise põlvkonna piinlik isanali ning kuidas noored on eesti keelt rikkunud juba rohkem kui sada aastat.
Eestikeelsele haridusele üleminekuga on aktuaalseks muutunud keele omandamise ja õppijakeele uurimine. Et luua paremaid õppematerjale, on meil vaja infot selle kohta, mis keeleõppijale raskusi valmistab ning millises õppeprotsessi osas peaks keelekasutust lihtsustama, kuidas valdkondlikku infot keeleliselt võimalikult hästi edasi anda jne.
Keeleandmetel on ka praktiline väärtus, sest ilma nendeta poleks õigekirjakontrolli, kõnetuvastust, masintõlget ega ligipääsetavuse tööriistu.
Üle ega ümber ei saa suurtest keelemudelitest, mille hea toimimine algab taas keeleandmetest. Keelemudelid õpivad sisendandmetest ning nende väljund peegeldab otseselt andmete iseloomu.
Näiteks kui suur keelemudel näeb oma treeningprotsessis ainult ingliskeelses kultuuriruumis toodetud andmeid, siis teab ta tõenäoliselt üsna vähe sellest, mis on oluline meie kohalikus kontekstis. Suured keelemudelid on siiski ainult üks keeleandmete rakendusvaldkond paljude teiste kõrval.
Kvaliteet versus kvantiteet
Keeleandmete kvaliteeti on keerulisem määratleda kui numbriliste andmete oma. Tänapäeval võib üsna kindlalt väita, et teadlaste jaoks on üks oluline kvaliteedinäitaja, et andmed oleks loodud n-ö inimese poolt, mitte masintõlgitud või tehisintellekti genereeritud, kuigi ka sellistel andmetel on keeleuurimisel ja tehnoloogia arendamisel oma koht. Kvaliteetsemaks teeb andmed kirjeldus nende iseloomust ja kasutuskontekstist.
Keeleuurimise seisukohalt on oluline, et andmed oleksid võimalikult representatiivsed. See tähendab, et keele võimalikult mitmekülgseks uurimiseks on meil vaja nii ajakirjandustekste, teismeliste suulist kõnet ja murdelindistusi.
Mingit tüüpi andmete olemasolu ei tähenda, et nende abil on võimalik kirjeldada kogu keelt kõigis tema avaldumisvormides. Näiteks kui koostaksime uurimisandmestiku ainult avaliku halduse dokumentidest, siis võiks tulevastele põlvedele jääda mulje, et me ainult lähtusime eeltoodust, võtsime asjaolusid arvesse ja seda kõike vastavalt kehtivale korrale.
Uurimisandmed pannakse kokku uurimisküsimusest lähtudes ning need peavad võimaldama uuritavat konteksti arvesse võtta.
Kus meie keeleandmed on?
Keeleandmeid on Eestis kogutud, digiteeritud ja kättesaadavaks tehtud praeguseks aastakümneid ning neid on eri institutsioonide vahel laiali jagatud üsna demokraatlikult, et mitte öelda, et nende kättesaadavus ja kasutusvõimalused on killustunud ja piiratud.
Suurimad keeleandmete hoidjad on raamatukogud, arhiivid, aga ka ülikoolid ja muuseumid on aastate jooksul kokku kogunud arvestatava hulga keeleandmeid. Nende hulgas on nii e-raamatuid, veebiarhiive, kirjavahetusi, käsikirju, murdelindistusi ja palju muud.
Keelekorpusi ehk eesmärgipäraselt kogutud ja dokumenteeritud keeleandmete kogusid on siiani loonud suuresti ülikoolid. Nende hulk ja eriilmelisus on eesti keele suurust arvestades muljetavaldav.
Tartu Ülikoolis on näiteks loodud nii kirjaliku keele, murde- kui ka suulise keele korpusi (hea ülevaate eesti keele korpustest saab korpuslingivistika õpikust). Hulgaliselt on keeleandmeid ka teistes avaliku sektori asutustes, nende hulgas on rohkem dokumente, memosid, protokolle jmt ning arvestatav osa andmeid on tõenäoliselt ka mõne asutuse serveris, mille olemasolust on teadlik ainult see inimene, kes viimased viisteist aastat selles asutuses enam ei tööta.
Suuri keeleandmeid hoiavad nii avalikud kui ka eraõiguslikud organisatsioonid, eelkõige meediaorganisatsioonid, aga ka kliendisuhtluse andmed jmt oleks teadlastele huvitav uurimismaterjal. Ettevõtete andmed on arusaadavalt suletud ja neid avalikult täisarhiividena ei esitata.
Piiratud ligipääsuga võivad olla ka teadustööks kokku pandud andmestikud, kuna andmed võivad olla erineval moel tundlikud (nt lastekeele andmed, meditsiiniga seotud andmed jmt).
Seega pole Eestis ühte kindlat institutsiooni, kuhu kõik keeleandmed kokku jooksevad, vaid eri asutused koguvad ja hoiavad eri tüüpi andmeid. Esimene katse selle killustatud maailma kokkutoomiseks keeleuurimise eesmärkidel on Eesti keeleandmete teadustaristu, mida arendab Tartu Ülikool koos partnerorganisatsioonidega.
Miks on keeleandmete kättesaadavus oluline?
Et andmed on kusagil olemas ei tähenda see automaatselt, et neid oleks võimalik üles leida, kätte saada ja kasutada. Andmed võivad endiselt olla olemas ainult paberil, nad võivad olla vananenud formaatides või süsteemides, mis ühtlasi teeb nende automaattöötluse ja analüüsi võimatuks.
Samuti võivad sama tüüpi andmete eri osad asuda eri organisatsioonides, omavahel eraldatud andmebaasides või mõlemat. Seega on nende süsteemne ja usaldusväärne kasutamine uurimismaterjalina võimatu.
Andmete kättesaadavaks tegemisel peab arvestama autoriõiguse piirangutega, isikuandmete korrektse käsitlemisega, võimalike lepingutega, mis andmetele rakenduvad ning sageli ka eetiliste aspektidega. Seda kõike tuleb andmete kogumisel, jagamisel ja kasutamisel arvesse võtta ning iga teadlane on vastutav, et kõik see toimuks seaduslikult, õiguste omajate ja andmetega seotud isikute huve kahjustamata.
Piirangud sõltuvad ka kasutuseesmärgist: teadustöös on neid reeglina vähem kui näiteks ettevõtte tootearenduses. Ka internetis vabalt loetavaid andmeid ei tohi tingimusteta kokku koguda, edasi jagada ega igal eesmärgil kasutada.
Kokkuvõtteks
Keeleandmed võimaldavad uurida, kuidas eesti keelt on varem kasutatud, kuidas me keelt tänapäeval räägime, aga samamoodi võimaldab see meil teha oletusi tuleviku keelemuutuste kohta.
Keeleandmete väärtus võib olla nii ajalooline kui ka kultuuriline, kuid need andmed on meile ka uute teadmiste allikaks. Keeleandmete kogumine ja säilitamine on kahtlemata olulised ning sellega ongi siiani rohkem tegeletud, kuid täpselt sama oluline on ka nende andmete korrastamine, struktureerimine, kasutatavaks ja kättesaadavaks tegemine. Keeleandmetes kajastub meie aeg, ühiskond ja inimesed, kes seda keelt kasutavad ja kalliks peavad.
Kristel Uiboaed on keeleteaduse doktor ning andmeteaduse, keeletehnoloogia ja tehisintellekti ekspert, kes ühendab oma töös teadusuuringud ja tehnoloogia praktiliste rakendustega.
Toimetaja: Kaupo Meiel




