Implement tokeniser.