en

tokenization

1

Terminological databases

Kooliinformaatika terminibaas

ID 1186446 Last modified 11.08.2026
View dataset
View dataset
  • tekstitöötluse algetapp ja protsess, mille käigus sisendtekst lammutatakse või viilutatakse väiksemateks matemaatilisteks baasüksusteks (tokeniteks), võimaldades mudelil teisendada inimkeelne tekst arvutile arusaadavaks numbriliseks andmejadaks

Korpuslingvistika terminibaas

ID 1127321 Last modified 12.01.2025
View dataset
View dataset
  • tekstijada jagamine sobivateks terviklikeks üksusteks, sõnedeks
Related
sõnestamine
tokenization

Word forms not available

Etymology not available

Related words not available

Search the same word

in the EU's IATE term base

Web examples

Online Language Learning Tool SkELL allows users to search for phrases in sentences, collocates and similar words. These examples have been automatically selected and may contain errors.
Skell logo