Upload text-tokenizer-de-4l.txt

text-tokenizer-de-4l.txt

@@ -0,0 +1 @@
+["<pad>", "<eos>", " ", "chen", "sche", "lich", "isch", "icht", "iche", "eine", "rden", "tion", "urde", "haft", "eich", "rung", "chte", "ssen", "chaf", "nder", "tlic", "tung", "eite", "iert", "sich", "ngen", "erde", "scha", "nden", "unge", "lung", "mmen", "eren", "ende", "inde", "erun", "sten", "iese", "igen", "erte", "iner", "tsch", "keit", "ndet", "nter", "ungs", "atio", "hren", "dere", "dung", "beit", "inem", "ster", "cher", "annt", "reic", "inen", "tisc", "tige", "ment", "iter", "tere", "nnen", "doch", "sion", "htig", "lten", "nung", "hmen", "onal", "egen", "gung", "elle", "nnte", "wurd", "gend", "iden", "glic", "iede", "eben", "iess", "\u00e4ter", "hung", "heit", "eder", "ahre", "itet", "sser", "iste", "iten", "llen", "zung", "it\u00e4t", "nsch", "ntli", "eits", "aben", "chst", "hied", "lied", "dies", "ssio", "esse", "eden", "enen", "piel", "ichn", "ande", "iele", "sind", "iona", "nisc", "amen", "eise", "gkei", "etzt", "osse", "iere", "dene", "edoc", "eind", "dlic", "dert", "llte", "rlic", "onen", "rend", "elte", "rsch", "eute", "ndig", "htet", "auch", "\u00e4isc", "tell", "chne", "acht", "ehen", "rdem", "ielt", "ione", "rste", "tier", "asse", "tete", "hnet", "atte", "ters", "rsit", "eser", "rten", "tzte", "amme", "ings", "sisc", "sste", "schl", "op\u00e4i", "entl", "alls", "ersi", "miss", "ahme", "dern", "nten", "ttel", "ehme", "esem", "send", "p\u00e4is", "iegt", "\u00fcsse", "risc", "nale", "dent", "hend", "ding", "ltun", "anis", "ellt", "hten", "ente", "igke", "\u00fchrt", "tzun", "ilie", "issi", "chti", "ktio", "rich", "aftl", "tive", "tadt", "land", "zier", "alte", "tigt", "lrei", "este", "sung", "itte", "werd", "agen", "h\u00f6rt", "mein", "ndun", "chli", "ache", "lige", "hkei", "lisc", "rere", "rieg", "hrer", "\u00e4chs", "htun", "halb", "eten", "hlic", "omme", "urch", "fall", "hter", "unkt", "delt", "tter", "chke", "onde", "ropa", "glie", "llun", "utsc", "chla", "hlie", "lies", "itio", "tzen", "nlic", "rche", "atet", "ffen", "kung", "\u00f6cht", "chts", "nier", "rati", "eide", "echt", "erst", "\u00fcber", "chun", "rige", "wird", "ders", "slic", "\u00f6nne", "weis", "nfal", "vers", "nger", "llem", "krie", "ftli", "ssig", "ssli", "sier", "iell", "eche", "rate", "spie", "klun", "weit", "gene", "itik", "mati", "ativ", "sere", "ndes", "tten", "eist", "ichk", "itis", "alen", "iger", "deru", "hrte", "tkri", "biet", "dete", "hlre", "sit\u00e4", "rieb", "chie", "trie", "itig", "inge", "igte", "wort", "hste", "lien", "aten", "serd", "ensc", "luss", "eler", "esch", "tern", "zlic", "irat", "tand", "liti", "cklu", "ngli", "lsch", "essl", "hnun", "mung", "isse", "ches", "dier", "rbei", "nsam", "teht", "olge", "side", "eh\u00f6r", "grei", "nete", "rach", "\u00e4ndi", "hrun", "erli", "altu", "rund", "gisc", "rop\u00e4", "ckel", "jahr", "dige", "chtu", "insa", "rger", "olgt", "\u00f6rte", "erne", "rier", "ltkr", "ldet", "ersc", "ldun", "zten", "nige", "nich", "igun", "iebe", "ritt", "hule", "eter", "ften", "esen", "hlan", "teil", "dlun", "zeit", "hsel", "erem", "afte", "ziel", "ines", "dnet", "nahm", "elen", "inie", "lame", "gten", "oren", "rhei", "nand", "alle", "\u00fcngl", "sond", "kann", "utun", "rdin", "logi", "ftig", "fent", "der", "die", "und", "ist", "ein", "ver", "auf", "das", "den", "von", "aus", "des", "sch", "ach", "mit", "ber", "als", "war", "dem", "sie", "f\u00fcr", "sta", "ang", "vor", "rei", "ent", "her", "ges", "bei", "wir", "ren", "nac", "ass", "ehr", "abe", "and", "wei", "pro", "tra", "man", "gel", "ann", "str", "ste", "ort", "sti", "bes", "gen", "rau", "hin", "uss", "erk", "och", "erf", "est", "ien", "hat", "ten", "zur", "erw", "ter", "nst", "zum", "lan", "mus", "geb", "ben", "for", "fra", "wer", "ern", "sei", "erb", "ich", "ken", "wie", "ran", "ier", "ahr", "ner", "eit", "ins", "ibt", "mal", "ert", "err", "spr", "noc", "tei", "zei", "nge", "gew", "zwe", "erg", "ger", "age", "tur", "nur", "hau", "the", "ler", "eri", "ant", "meh", "kom", "kon", "era", "ekt", "anz", "dar", "eil", "par", "reg", "ina", "wel", "mer", "art", "cke", "ere", "oll", "erh", "are", "erl", "nze", "fen", "ihr", "mmt", "ung", "ode", "sge", "bau", "ens", "arb", "uns", "tor", "nen", "sam", "zen", "che", "ord", "uch", "sst", "men", "hre", "mar", "ers", "fre", "dre", "lei", "\u00fcck", "sen", "chw", "rke", "per", "neu", "fer", "tre", "ris", "deu", "bst", "hne", "lau", "bet", "vie", "imm", "mis", "bil", "gef", "eis", "nde", "gra", "sol", "beg", "bar", "eme", "bis", "hie", "ing", "upt", "jah", "gan", "ame", "han", "seh", "rts", "all", "ohn", "ale", "sel", "org", "gem", "alt", "stu", "rge", "nke", "ege", "ppe", "aut", "rag", "lle", "rie", "amt", "orm", "uni", "ans", "ank", "ark", "kte", "zus", "nis", "ige", "rin", "pol", "rla", "dan", "ion", "hei", "lag", "elt", "ate", "st\u00e4", "eue", "rat", "egi", "ele", "res", "chi", "r\u00fcc", "inz", "ser", "ihn", "ori", "ell", "bef", "len", "mei", "ntr", "pen", "bek", "atz", "tro", "eck", "cha", "lis", "ick", "gib", "chr", "bli", "dor", "leg", "ffe", "wen", "ude", "enn", "erz", "mte", "inn", "usg", "bez", "eut", "lie", "uer", "tru", "fel", "rte", "bur", "nne", "son", "ind", "pla", "aue", "ker", "ill", "vol", "urg", "ebt", "nie", "ali", "uen", "tsc", "akt", "pre", "tri", "ari", "was", "hle", "iff", "ial", "geh", "chs", "vom", "ble", "lig", "nor", "ine", "eim", "bew", "net", "rze", "etr", "aub", "woh", "iel", "tal", "tig", "tar", "bel", "ini", "bed", "bra", "obe", "rif", "ahn", "ute", "ast", "ube", "ara", "ahl", "tel", "ust", "in", "er", "ie", "en", "an", "ge", "zu", "be", "es", "re", "st", "im", "te", "um", "we", "ar", "ch", "ro", "sc", "au", "on", "al", "so", "ko", "am", "or", "da", "un", "et", "si", "ab", "ma", "ig", "he", "de", "as", "gr", "is", "li", "se", "ka", "ei", "pr", "na", "it", "mi", "tz", "ra", "le", "ur", "sp", "ol", "el", "ta", "at", "ve", "di", "us", "il", "ri", "eu", "ha", "wi", "ti", "la", "ze", "ho", "ne", "me", "ir", "lo", "fi", "to", "lt", "nt", "os", "br", "em", "ss", "ft", "ut", "ru", "om", "ba", "ni", "mo", "ku", "kl", "tt", "l\u00e4", "sa", "pa", "fa", "je", "eh", "wa", "ik", "eg", "wu", "fr", "ki", "gt", "ul", "ug", "th", "zi", "r\u00e4", "tu", "fe", "po", "vo", "uf", "fl", "ga", "of", "tr", "hi", "kr", "ot", "ts", "ag", "ng", "ed", "bi", "pf", "gl", "rt", "r\u00fc", "ad", "lu", "mu", "bu", "nd", "wo", "du", "eb", "k\u00f6", "no", "f\u00fc", "h\u00e4", "rd", "gi", "mp", "ld", "bo", "pl", "nf", "\u00fcn", "\u00e4h", "do", "ih", "op", "ak", "id", "\u00e4u", "ke", "m\u00fc", "ia", "iv", "\u00fcr", "s", "e", "n", "r", "a", "t", "m", "g", "k", "h", "l", "b", "d", "f", "w", "o", "u", "p", "i", "z", "v", "\u00e4", "c", "\u00fc", "\u00f6", "j", "y", "x", "q", "\u00e1", "\u00ed", "\u00f3", "\u014d", "\u0161", "\u00e9", "\u0142", "?"]