Include your e-mail if you'd like us to get back to you.
We've received your feedback, thank you!
tekstitöötluse algetapp ja protsess, mille käigus sisendtekst lammutatakse või viilutatakse väiksemateks matemaatilisteks baasüksusteks (tokeniteks), võimaldades mudelil teisendada inimkeelne tekst arvutile arusaadavaks numbriliseks andmejadaks
tokeniseerimine . Kooliinformaatika terminibaas. Estonian Language Institute, Sõnaveeb 2026. https://sonaveeb.ee/search/unif//eiops/tokeniseerimine/1/est (12.08.2026)
