updated to Tokenizer.tokenize() function