tekstitöötluse algetapp ja protsess, mille käigus sisendtekst lammutatakse või viilutatakse väiksemateks matemaatilisteks baasüksusteks (tokeniteks), võimaldades mudelil teisendada inimkeelne tekst arvutile arusaadavaks numbriliseks andmejadaks
На странице корпусного менеджера SkELL пользователь может познакомиться с контекстами употребления и с распространёнными сочетаниями слова, а также с синонимами и другими близкими по значению словами. Данные выбраны компьютером aвтомaтически и могут содержать ошибки.
