tekstitöötluse algetapp ja protsess, mille käigus sisendtekst lammutatakse või viilutatakse väiksemateks matemaatilisteks baasüksusteks (tokeniteks), võimaldades mudelil teisendada inimkeelne tekst arvutile arusaadavaks numbriliseks andmejadaks
Online Language Learning Tool SkELL allows users to search for phrases in sentences, collocates and similar words. These examples have been automatically selected and may contain errors.
