tokenizer.json

{
  "tokens": {
    "words": "Hello, World",
    "word_based1": "Hello",
    "word_based2": "World",
    "character_based": {
      "1": "H",
      "2": "e",
      "3": "l",
      "4": "l",
      "5": "o",
      "6": ",",
      "7": "W",
      "8": "o",
      "9": "r",
      "10": "l",
      "11": "d"
    },
    "subword_based": [
      "He",
      "##llo",
      "##,",
      "##Wor",
      "##ld"
    ]
  }
}