{ "version": "1.0", "truncation": null, "padding": null, "added_tokens": [ { "id": 0, "content": "[EOS]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 1, "content": "[UNK]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 2, "content": "[CLS]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 3, "content": "[PAD]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true } ], "normalizer": null, "pre_tokenizer": { "type": "Whitespace" }, "post_processor": { "type": "TemplateProcessing", "single": [ { "Sequence": { "id": "A", "type_id": 0 } }, { "SpecialToken": { "id": "[EOS]", "type_id": 0 } } ], "pair": [ { "Sequence": { "id": "A", "type_id": 0 } }, { "Sequence": { "id": "B", "type_id": 1 } } ], "special_tokens": { "[EOS]": { "id": "[EOS]", "ids": [ 0 ], "tokens": [ "[EOS]" ] } } }, "decoder": null, "model": { "type": "BPE", "dropout": null, "unk_token": "[UNK]", "continuing_subword_prefix": null, "end_of_word_suffix": null, "fuse_unk": false, "byte_fallback": false, "vocab": { "[EOS]": 0, "[UNK]": 1, "[CLS]": 2, "[PAD]": 3, "+": 4, "-": 5, "0": 6, "1": 7, "2": 8, "3": 9, "4": 10, "5": 11, "6": 12, "7": 13, "8": 14, "9": 15, "=": 16, "10": 17, "11": 18, "12": 19, "13": 20, "14": 21, "15": 22, "16": 23, "17": 24, "18": 25, "32": 26, "27": 27, "34": 28, "60": 29, "19": 30, "50": 31, "42": 32, "53": 33, "20": 34, "40": 35, "72": 36, "63": 37, "33": 38, "43": 39, "23": 40, "74": 41, "45": 42, "51": 43, "61": 44, "48": 45, "21": 46, "22": 47, "38": 48, "55": 49, "71": 50, "39": 51, "24": 52, "57": 53, "59": 54, "85": 55, "46": 56, "87": 57, "44": 58, "30": 59, "25": 60, "79": 61, "29": 62, "41": 63, "99": 64, "95": 65, "26": 66, "58": 67, "35": 68, "37": 69, "67": 70, "28": 71, "49": 72, "52": 73, "76": 74, "81": 75, "77": 76, "36": 77, "89": 78, "73": 79, "97": 80, "86": 81, "31": 82, "66": 83, "82": 84, "80": 85, "47": 86, "65": 87, "69": 88, "98": 89, "88": 90, "56": 91, "84": 92, "75": 93, "54": 94, "70": 95, "94": 96, "96": 97, "68": 98, "64": 99, "93": 100, "62": 101, "78": 102, "91": 103, "83": 104, "92": 105, "90": 106, "100": 107, "110": 108, "101": 109, "102": 110, "105": 111, "103": 112, "104": 113, "109": 114, "111": 115, "106": 116, "127": 117, "125": 118, "115": 119, "117": 120, "121": 121, "113": 122, "114": 123, "116": 124, "119": 125, "122": 126, "131": 127, "107": 128, "108": 129, "123": 130, "112": 131, "118": 132, "128": 133, "139": 134, "120": 135, "129": 136, "130": 137, "124": 138, "134": 139, "135": 140, "140": 141, "133": 142, "132": 143, "138": 144, "126": 145, "148": 146, "142": 147, "137": 148, "136": 149, "146": 150, "143": 151, "147": 152, "157": 153, "145": 154, "150": 155, "151": 156, "152": 157, "141": 158, "149": 159, "153": 160, "154": 161, "158": 162, "159": 163, "163": 164, "155": 165, "144": 166, "166": 167, "161": 168, "160": 169, "156": 170, "164": 171, "167": 172, "168": 173, "173": 174, "171": 175, "162": 176, "169": 177, "165": 178, "175": 179, "179": 180, "170": 181, "176": 182, "172": 183, "177": 184, "174": 185, "178": 186, "183": 187, "184": 188, "185": 189, "180": 190, "182": 191, "181": 192, "186": 193, "187": 194, "188": 195, "190": 196, "191": 197, "189": 198, "196": 199, "192": 200, "194": 201, "193": 202, "195": 203, "197": 204, "198": 205 }, "merges": [ "1 0", "1 1", "1 2", "1 3", "1 4", "1 5", "1 6", "1 7", "1 8", "3 2", "2 7", "3 4", "6 0", "1 9", "5 0", "4 2", "5 3", "2 0", "4 0", "7 2", "6 3", "3 3", "4 3", "2 3", "7 4", "4 5", "5 1", "6 1", "4 8", "2 1", "2 2", "3 8", "5 5", "7 1", "3 9", "2 4", "5 7", "5 9", "8 5", "4 6", "8 7", "4 4", "3 0", "2 5", "7 9", "2 9", "4 1", "9 9", "9 5", "2 6", "5 8", "3 5", "3 7", "6 7", "2 8", "4 9", "5 2", "7 6", "8 1", "7 7", "3 6", "8 9", "7 3", "9 7", "8 6", "3 1", "6 6", "8 2", "8 0", "4 7", "6 5", "6 9", "9 8", "8 8", "5 6", "8 4", "7 5", "5 4", "7 0", "9 4", "9 6", "6 8", "6 4", "9 3", "6 2", "7 8", "9 1", "8 3", "9 2", "9 0", "10 0", "1 10", "10 1", "10 2", "10 5", "10 3", "10 4", "10 9", "11 1", "10 6", "12 7", "12 5", "11 5", "11 7", "12 1", "11 3", "11 4", "11 6", "11 9", "12 2", "13 1", "10 7", "10 8", "12 3", "11 2", "11 8", "12 8", "13 9", "12 0", "12 9", "13 0", "12 4", "13 4", "13 5", "14 0", "13 3", "13 2", "13 8", "12 6", "14 8", "14 2", "13 7", "13 6", "14 6", "14 3", "14 7", "15 7", "14 5", "15 0", "15 1", "15 2", "14 1", "14 9", "15 3", "15 4", "15 8", "15 9", "16 3", "15 5", "14 4", "16 6", "16 1", "16 0", "15 6", "16 4", "16 7", "16 8", "17 3", "17 1", "16 2", "16 9", "16 5", "17 5", "17 9", "17 0", "17 6", "17 2", "17 7", "17 4", "17 8", "18 3", "18 4", "18 5", "18 0", "18 2", "18 1", "18 6", "18 7", "18 8", "19 0", "19 1", "18 9", "19 6", "19 2", "19 4", "19 3", "19 5", "19 7", "19 8" ] } }