Lõplikel automaatidel põhinev arvutimorfoloogia Heli Uibo TÜ arvutiteaduse instituut e-mail: heli_u@ut.ee

Ettekanne põhineb raamatul: Kenneth Beesley, Lauri Karttunen “Finite-State Mophology: Xerox Techniques and Tools” http://www.cis.upenn.edu/~cis639/docs/book.ps ja artiklil: Lauri Karttunen “Applications of Finite-State Transducers in Natural-Language Processing” Proceedings of CIAA-2000. Lecture Notes in Computer Science. Springer Verlag. http://www.xrce.xerox.com/Publications/Attachments/2000-302/fst-in-nlp.pdf

Ülevaade Arvutimorfoloogia - mis ja milleks? Lõplik automaat ja lõplik transduktor Ajaloost Teoreetilised alused Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? Olemasolev tarkvara Rakendus: Eesti keele kahetasemeline morfoloogia

Arvutimorfoloogia - mis ja milleks? Loomuliku keele töötluse (NLP) moodulid: Morfoloogia Süntaks Semantika analüüs genereerimine

Arvutimorfoloogia - mis ja milleks? (2) Sõnavormid Morfoloogilised tõlgendused Morfoloogiline analüsaator/generaator

Näiteid morfoloogilisest analüüsist Inglise k.: wrote  write+V+PastInd Saksa k.: schrieb  schreiben+V+Ipt+Sg Rootsi k.: skrev  skriva+V+Ipt Soome k.: kirjoitin  kirjoittaa+V+Ind+Ipt+Sg1 Eesti k.: kirjutasin  kirjutama+V+Ind+Ipt+Sg1 “I wrote”

Arvutimorfoloogia rakendusi õigekirjakontroll infootsimine info ekstraheerimine masintõlge kõnetehnoloogia rakendused leksikograafi töövahendid jne.

Lõplikel automaatidel põhinev arvutimorfoloogia: Ajaloost “English is not a finite state language.” (Chomsky “Syntactic structures” 1957) Chomsky hierarhia: Turing machine Context- sensitive Context- free Finite- state

Ajaloost (2)  Üritati rakendada võimsamaid formalisme: süntaksis fraasistruktuurigrammatikaid (nt. HPSG), morfoloogias ümberkirjutusreegleid (rewrite rules) AGA: Praktiliselt kasutatavate grammatikate kirjutamine osutus väga keeruliseks.

Ajaloost (3) 25 a. tagasi ei olnud üldist, keelest sõltumatut meetodit morfoloogiliseks analüüsiks ja sünteesiks. Olemasolevad morfoloogilise analüüsi programmid ei olnud ümberpööratavad sõnavormide genereerimiseks algvormist ja morfoloogilisest infost.

kus x, y, z, w on suvalise keerukusega tunnusstruktuurid. Ajaloost (4) Chomsky, Halle (1968) generatiivne fonoloogia kasutas morf. sünteesiks kontekstitundlike ümberkirjutusreeglite järjestikust rakendamist, et teisendada abstraktne fonoloogiline esitus pindesituseks (sõnavormiks) läbi vahepealsete esituste. Reeglite üldkuju: x  y / z _ w, kus x, y, z, w on suvalise keerukusega tunnusstruktuurid.

Teoreetilised alused Lõplike automaatide ja transduktorite kasutatavus arvutimorfoloogias põhineb järgmistel tulemustel: D. Johnson, 1972: Fonoloogilised ümberkirjutusreeglid ei ole sisuliselt kontekstitundlikud, vaid neid saab kirjeldada lõplike transduktoritena (finite-state transducer). Schützenberger, 1961: Kui kaks lõplikku transduktorit rakendada järjestikku, siis leidub üks lõplik transduktor, mis on nende kahe lõpliku transduktori kompositsioon.

Teoreetilised alused (2) Kompositsiooni üldistus n transduktorile: saame läbi ilma vaheesitusteta – süvaesitus teisendatakse pindesituseks üheainsa lõpliku transduktori abil! 1980 - tulemus taasavastati Kaplani ja Kay poolt (Xerox PARC)

Teoreetilised alused (3) Süvaesitus Süvaesitus Pindesitus Pindesitus Reegel1 ”Üks suur reegel” = lõplik transduktor (finite-state transducer e. FST) Reegel2 ……….. Reegeln

Teoreetilised alused (4) Lõplikel transduktoritel põhineva arvutimorfoloogia põhiväide: Seos keele sõnavormide ja nende algvormide e. lemmade vahel on kirjeldatav regulaarse relatsioonina.

Teoreetilised alused (5) Regulaarse relatsiooni saab kirja panna regulaaravaldisena. Regulaaravaldise saab kompileerida lõplikuks transduktoriks (FST), mis realiseerib selle relatsiooni arvutuslikult. Transduktoris seab mistahes tee algolekust lõppolekusse omavahel vastavusse mingi sõnavormi (surface form) ja tema lemma+ morfoloogilise info (lexical form).

Näide: tee transduktoris B b a +S d +Pl e s +El Sõnastikuesitus: Pindesitus: Kompaktsemalt: t u B:b a +S:0 0:d +Pl:e 0:s +El:t

Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? Morfoloogias tuleb modelleerida kaks põhilist protsessi: 1. Morfotaktika (kuidas kombineeritakse morfeemidest sõnavormid) - prefiksid ja sufiksid, liitsõnamoodustus - konkatenatsioon - reduplikatsioon, infiksatsioon, interdigitatsioon - mittekonkatenatiivsed protsessid

Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? (2) 2. Fonoloogilised/ortograafilised alternatsioonid - assimilatsioon (hind : hinna) - lisandumine (jooksma : jooksev) - kadu (number : numbri) - geminatsioon (tuba : tuppa) Kõik loetletud morfoloogilised fenomenid on kirjeldatavad regulaaravaldiste abil.

Kuidas kirjeldada kogu morfoloogiline süsteem lõplike transduktorite abil? (3) Aga kuidas? Regulaaravaldistes kasutatavad operatsioonid: ühend A | B (nt. Erinevad kontekstid, milles sümbolipaar võib esineda) konkatenatsioon A B (väga produktiivne aglutineerivate keelte puhul - liidete, lõppude, prefiksite lisamine, liitsõnamoodustus) iteratsioon A+ ja Kleene’i tärn A* (reeglid tüüpi “kui sõnas kusagil eespool esineb x, siis…”)

Kuidas kirjeldada kogu morfoloogiline süsteem? (4) Veel operatsioone regulaarsete relatsioonidega: otsekorrutis A .x. B (teine tähistus a:b) kompositsioon A .o. B - lõplike transduktorite järjestrakendamine Tavaliselt koosneb keele morfoloogiakirjeldus kahest eraldiseisvast osast - leksikon-transduktorist ja reeglitekogu-transduktorist. Lexical FST = lexicon FST .o. rule FST

Kuidas kirjeldada kogu morfoloogiline süsteem? (5) Xeroxi vahendeid kasutades: 1) Reeglite kompileerimiseks võib kasutada programmi twolc (kahetasemeliste reeglite kompilaator) või programmi xfst, kui kasutatakse asendusreegleid (replace rules) 2) Programm lexc kompileerib leksikoni leksikon-FST-ks

Kuidas kirjeldada kogu morfoloogiline süsteem? (6) 3) Leksikon ühendatakse reeglitega (saadakse leksikaalne transduktor) transduktorite kompositsiooni kasutades Kompositsioon on realiseeritud nii lexc-s (compose result) kui xfst-s (compose net).

Kuidas kirjeldada kogu morfoloogiline süsteem? (7) Nii kahetasemelised kui asendusreeglid on formaalselt regulaaravaldised. Operaatoritega <=>, <=, => ja  tähistatakse keerukaid regulaaravaldisi. Näiteks kahetasemeline reegel a:b => L _ R on samaväärne regulaaravaldisega [ ~[ [ [ ?* L ] a:b ?* ] | [ ?* a:b ~[ R ?* ] ] ] Lingvistile on harjumuspärased a  b || L _ R tüüpi reeglid, meenutades fonoloogilisi ümberkirjutusreegleid.

Morfoloogiline analüüs leksikaalses transduktoris Morfoloogiline analüüs = lookup Käiakse läbi leksikaalses transduktoris leiduvaid teid, niikaua kui leitakse tee, milles kaarte alumised märgendid annavad kokku analüüsitava sõna. Väljastatakse vastavate kaarte ülemiste märgendite konkatenatsioon. Kui ükski tee ei anna tulemust, ei kuulu sõnavorm transduktori poolt kirjeldatud keelde.

Morfoloogiline süntees leksikaalses transduktoris Morfoloogiline süntees = lookdown Käiakse läbi leksikaalses transduktoris leiduvaid teid, niikaua kuni leitakse tee, milles kaarte ülemised märgendid annavad kokku etteantud lemma+morfoloogilised märgendid. Väljastatakse vastavate alumiste märgendite konkatenatsioon.

Lõplikel transduktoritel põhinev arvutimorfoloogia: olemasolev tarkvara Kommertstarkvara: Kahetasemelised morfoloogilised analüsaatorid inglise, saksa, rootsi, soome jt. keelte jaoks (K. Koskenniemi et al) www.lingsoft.fi Xerox Finite-State Calculus (L. Karttunen et al, www.xrce.xerox.com/competencies/content-analysis/fst), võimalik tasuta akadeemiline litsents Teragram (E. Roche & Y. Schabes) www.teragram.com

Lõplikel transduktoritel põhinev arvutimorfoloogia: olemasolev tarkvara (2) Vabavara: AT&T FSM Library - www.research.att.com/sw/tools/fsm GertjanVan Noord’s FSA Utils - odur.let.rug.nl/~vannord/FSA/fsa.html Jan Daciuk’s finite-state homepage - odur.let.rug.nl/alfa/fsa-stuff/

Eesti keele kahetasemeline morfoloogia Reeglitega käsitletavad nähtused: astmevaheldus kägu : käo, hüpata : hüppan fonotaktika lumi : lumd*  lund morfofonoloogiline distributsioon seis + da  seista ortograafia kirj*  kiri, kristall + ne  kristalne

Eesti keele kahetasemeline morfoloogia (2) Leksikonide abil kirjeldatavad nähtused: käänamine pööramine omadussõnade võrdlemine sõnatuletus liitsõnamoodustus tüvelõpumuutused ne-se, 0-da, 0-me jne tüvevokaali valik a, e, i, u Appropriate suffixes are added to a stem according to its inflection type

Eesti keele kahetasemeline morfoloogia (3) Lahendamist ootavad probleemid: 1) tuletatud sõnade ja liitsõnade ülegenereerimine lahendus: komponeerida leksikaalse transduktoriga erinevaid filtreid, mis kitsendavad sõnatuletuse ja liitsõnamoodustuse protsesse 2) tüvedesõnastiku mahu suurendamine, sealh. korrektsete sõnastikuesituste genereerimine Vastav programm sai hiljuti valmis.

Eesti keele kahetasemeline morfoloogia (4) 3) tundmatute sõnade analüüsi oletamine (sõnad, mis ei ole leksikonis) võimalik lahendus: Kuna leksikonikirjetes võib kasutada ka regulaaravaldisi, tuleks juurteleksikonidesse sisestada kirjed <Alpha*> koos kõikvõimalike jätkuviitadega.