{ "version": "1.0", "truncation": null, "padding": null, "added_tokens": [ { "id": 0, "content": "[UNK]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 1, "content": "[CLS]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 2, "content": "[SEP]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 3, "content": "[PAD]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 4, "content": "[MASK]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true } ], "normalizer": null, "pre_tokenizer": { "type": "Whitespace" }, "post_processor": null, "decoder": null, "model": { "type": "BPE", "dropout": null, "unk_token": "[UNK]", "continuing_subword_prefix": null, "end_of_word_suffix": null, "fuse_unk": false, "byte_fallback": false, "ignore_merges": false, "vocab": { "[UNK]": 0, "[CLS]": 1, "[SEP]": 2, "[PAD]": 3, "[MASK]": 4, "!": 5, "\"": 6, ",": 7, ".": 8, ":": 9, "?": 10, "A": 11, "B": 12, "M": 13, "N": 14, "R": 15, "S": 16, "T": 17, "[": 18, "]": 19, "a": 20, "b": 21, "c": 22, "d": 23, "e": 24, "f": 25, "g": 26, "h": 27, "i": 28, "k": 29, "l": 30, "m": 31, "n": 32, "o": 33, "q": 34, "r": 35, "s": 36, "t": 37, "u": 38, "v": 39, "w": 40, "x": 41, "y": 42, "z": 43, "{": 44, "}": 45, "ü": 46, "ı": 47, "ş": 48, "bi": 49, "\":": 50, "er": 51, "an": 52, "on": 53, "bil": 54, "abil": 55, "es": 56, "ir": 57, "abilir": 58, "\",": 59, "im": 60, "ion": 61, "or": 62, "qu": 63, "sw": 64, "tion": 65, "answ": 66, "estion": 67, "question": 68, "answer": 69, "?\",": 70, "en": 71, "ha": 72, "sor": 73, "ya": 74, "},": 75, "bir": 76, ".\"": 77, "Ba": 78, "as": 79, "ben": 80, "cı": 81, "dı": 82, "in": 83, "iy": 84, "iz": 85, "ka": 86, "kon": 87, "labilir": 88, "mcı": 89, "miy": 90, "olabilir": 91, "rdı": 92, "sin": 93, "um": 94, "va": 95, "ıl": 96, "şe": 97, "şka": 98, "hava": 99, "sorabilir": 100, "yardı": 101, "Başka": 102, "asıl": 103, "konu": 104, "yardımcı": 105, "!\"": 106, "!\",": 107, "?\"": 108, "Ai": 109, "Bu": 110, "Ban": 111, "Ma": 112, "Mer": 113, "Nasıl": 114, "Ri": 115, "Sen": 116, "Te": 117, "al": 118, "ba": 119, "ca": 120, "da": 121, "du": 122, "der": 123, "ef": 124, "eya": 125, "emiy": 126, "eder": 127, "gi": 128, "gü": 129, "her": 130, "han": 131, "kk": 132, "kim": 133, "ler": 134, "nu": 135, "nasıl": 136, "rum": 137, "rler": 138, "unu": 139, "veya": 140, "xr": 141, "ürler": 142, "şabilir": 143, "bilemiy": 144, "esef": 145, "orum": 146, "haba": 147, "soru": 148, "miyim": 149, "olabilirim": 150, "siniz": 151, "şey": 152, "şekk": 153, "sorabilirsiniz": 154, "konuda": 155, "konuşabilir": 156, "Aixr": 157, "Bugü": 158, "Bana": 159, "Maal": 160, "Merhaba": 161, "Rica": 162, "Teşekk": 163, "durum": 164, "ederim": 165, "herhan": 166, "kimsin": 167, "bilemiyorum": 168, "konuşabiliriz": 169, "Bugün": 170, "Maalesef": 171, "Teşekkürler": 172, "durumunu": 173, "herhangi": 174 }, "merges": [ "b i", "\" :", "e r", "a n", "o n", "bi l", "a bil", "e s", "i r", "abil ir", "\" ,", "i m", "i on", "o r", "q u", "s w", "t ion", "an sw", "es tion", "qu estion", "answ er", "? \",", "e n", "h a", "s or", "y a", "} ,", "bi r", ". \"", "B a", "a s", "b en", "c ı", "d ı", "i n", "i y", "i z", "k a", "k on", "l abilir", "m cı", "m iy", "o labilir", "r dı", "s in", "u m", "v a", "ı l", "ş e", "ş ka", "ha va", "sor abilir", "ya rdı", "Ba şka", "as ıl", "kon u", "yardı mcı", "! \"", "! \",", "? \"", "A i", "B u", "B an", "M a", "M er", "N asıl", "R i", "S en", "T e", "a l", "b a", "c a", "d a", "d u", "d er", "e f", "e ya", "e miy", "e der", "g i", "g ü", "h er", "h an", "k k", "k im", "l er", "n u", "n asıl", "r um", "r ler", "u nu", "v eya", "x r", "ü rler", "ş abilir", "bil emiy", "es ef", "or um", "ha ba", "sor u", "miy im", "olabilir im", "sin iz", "şe y", "şe kk", "sorabilir siniz", "konu da", "konu şabilir", "Ai xr", "Bu gü", "Ban a", "Ma al", "Mer haba", "Ri ca", "Te şekk", "du rum", "eder im", "her han", "kim sin", "bilemiy orum", "konuşabilir iz", "Bugü n", "Maal esef", "Teşekk ürler", "durum unu", "herhan gi" ] } }