en

tokenization

1

Терминологические словари

Kooliinformaatika terminibaas

ID 1186446 Последнее изменение 11.08.2026
Веб-страница словаря
Веб-страница словаря
  • tekstitöötluse algetapp ja protsess, mille käigus sisendtekst lammutatakse või viilutatakse väiksemateks matemaatilisteks baasüksusteks (tokeniteks), võimaldades mudelil teisendada inimkeelne tekst arvutile arusaadavaks numbriliseks andmejadaks

Korpuslingvistika terminibaas

ID 1127321 Последнее изменение 12.01.2025
Веб-страница словаря
Веб-страница словаря
  • tekstijada jagamine sobivateks terviklikeks üksusteks, sõnedeks
Cвязанные по значению
sõnestamine
tokenization

Формы слова данные отсутствуют

Этимология данные отсутствуют

Производные слова данные отсутствуют

Поиск

в терминологической базе IATE

Примеры предложений из текстов интернета

На странице корпусного менеджера SkELL пользователь может познакомиться с контекстами употребления и с распространёнными сочетаниями слова, а также с синонимами и другими близкими по значению словами. Данные выбраны компьютером aвтомaтически и могут содержать ошибки.
Skell logo