Kui soovid oma küsimusele vastust, jäta meile oma e-posti aadress.
Aitäh, oleme tagasiside kätte saanud.
tekstitöötluse algetapp ja protsess, mille käigus sisendtekst lammutatakse või viilutatakse väiksemateks matemaatilisteks baasüksusteks (tokeniteks), võimaldades mudelil teisendada inimkeelne tekst arvutile arusaadavaks numbriliseks andmejadaks
tokeniseerimine . Kooliinformaatika terminibaas. Eesti Keele Instituut, Sõnaveeb 2026. https://sonaveeb.ee/search/unif//eiops/tokeniseerimine/1/est (12.08.2026)
