Update token type model

letter_corpus.txt

@@ -1 +0,0 @@
-{'a': 0, 'b': 0, 'c': 0, 'd': 0, 'e': 0, 'f': 0, 'g': 0, 'h': 0, 'i': 0, 'j': 0, 'k': 0, 'l': 0, 'm': 0, 'n': 0, 'o': 0, 'p': 0, 'q': 0, 'r': 0, 's': 0, 't': 0, 'u': 0, 'v': 0, 'w': 0, 'x': 0, 'y': 0, 'z': 0, 'A': 1, 'B': 1, 'C': 1, 'D': 1, 'E': 1, 'F': 1, 'G': 1, 'H': 1, 'I': 1, 'J': 1, 'K': 1, 'L': 1, 'M': 1, 'N': 1, 'O': 1, 'P': 1, 'Q': 1, 'R': 1, 'S': 1, 'T': 1, 'U': 1, 'V': 1, 'W': 1, 'X': 1, 'Y': 1, 'Z': 1, '0': 2, '1': 2, '2': 2, '3': 2, '4': 2, '5': 2, '6': 2, '7': 2, '8': 2, '9': 2, '!': 3, '"': 3, '#': 3, '$': 3, '%': 3, '&': 3, "'": 3, '(': 3, ')': 3, '*': 3, '+': 3, ',': 3, '-': 3, '.': 3, '/': 3, ':': 3, ';': 3, '<': 3, '=': 3, '>': 3, '?': 3, '@': 3, '[': 3, '\\': 3, ']': 3, '^': 3, '_': 3, '`': 3, '{': 3, '|': 3, '}': 3, '~': 3, ' ': 4, '\t': 4, '\n': 4, '\r': 4, '\x0b': 4, '\x0c': 4}

pdf_tokens_type.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:df9dde0d5ee62eaccc1b4f34648cfc068b547a1df8968685ce0767b8c26004c5
+size 102325660