Instead, humans must program the computer to identify what constitutes an individual or distinct word, referred to as a token.
Человек должен запрограммировать компьютер так, чтобы определить, что является отдельным словом, называемым токеном.