suurtes keelemudelites kasutatav teksti matemaatiline baasüksus (sõna, sõnaosa, tähemärk või kirjavahemärk), milleks mudel sisendteksti enne töötlemist või genereerimist tükeldab
На странице корпусного менеджера SkELL пользователь может познакомиться с контекстами употребления и с распространёнными сочетаниями слова, а также с синонимами и другими близкими по значению словами. Данные выбраны компьютером aвтомaтически и могут содержать ошибки.
