add tokenizer

added_tokens.json

@@ -0,0 +1 @@
+{"esultate": 31725, "Amorreo": 31143, "caddi": 31636, "Ipocriti": 31371, "accamparsi": 31587, "Secania": 31513, "Rubeniti": 31498, "espiazione": 31723, "deporterà": 31693, "redentore": 31939, "Amaria": 31134, "indomani": 31804, "Iozabad": 31369, "uragano": 32081, "sadducei": 31969, "antenato": 31599, "Vasti": 31565, "aurora": 31613, "Sallum": 31504, "Mamre": 31404, "Ulivi": 31560, "scorpioni": 31997, "replicò": 31943, "Ecbatana": 31256, "pentola": 31902, "castigo": 31654, "fragore": 31751, "cateratte": 31657, "raccoglierai": 31934, "Agrippa": 31126, "Binnui": 31208, "faraone": 31735, "Ornan": 31459, "sdegno": 32000, "recinto": 31937, "Caifa": 31212, "terebinto": 32048, "Ioab": 31356, "lucerna": 31844, "Achimaas": 31115, "incorruttibile": 31802, "risorgere": 31957, "Osanna": 31460, "cesta": 31668, "Nun": 31445, "Ofni": 31448, "frastuono": 31753, "germoglio": 31761, "Ekron": 31261, "cammello": 31643, "Oloferne": 31450, "sandali": 31973, "Sofonia": 31540, "aquila": 31601, "vedove": 32089, "infedeli": 31809, "Eliakim": 31263, "Gerico": 31305, "Azrikam": 31177, "trasportò": 32061, "fanciullo": 31734, "esclamò": 31719, "paralitico": 31894, "vacillare": 32085, "Oreb": 31458, "ipocriti": 31825, "azzimo": 31617, "Sittim": 31536, "montoni": 31864, "cedro": 31662, "Mesopotamia": 31419, "difatti": 31700, "Ahimè": 31127, "discernimento": 31704, "Kadmiel": 31382, "Neemia": 31436, "spalline": 32021, "Israelita": 31375, "inseguì": 31819, "Menelao": 31414, "fornace": 31750, "Safan": 31502, "eunuco": 31730, "nube": 31871, "Sobal": 31537, "veritiero": 32090, "Rachele": 31485, "ignoranza": 31781, "tummim": 32067, "capanne": 31648, "innalzò": 31818, "puledro": 31930, "baluardo": 31619, "superbo": 32042, "Baanà": 31179, "Ittiti": 31380, "Amnon": 31141, "Cronache": 31242, "Kedemot": 31386, "diedi": 31699, "Eterno": 31281, "prostreranno": 31926, "sfogo": 32009, "rotolo": 31964, "Nebat": 31435, "Azzimi": 31178, "esaminandola": 31718, "boccone": 31628, "Santificatevi": 31510, "ripudiata": 31955, "infedele": 31808, "Cedron": 31227, "perseveranza": 31905, "Netania": 31440, "Gorgia": 31328, "Ieter": 31351, "Tobia": 31555, "Nabuzaradan": 31432, "Uzzà": 31564, "Elifelet": 31268, "Rut": 31499, "ubriacone": 32074, "Galgala": 31298, "terafim": 32047, "Magdala": 31403, "catenelle": 31656, "aspersione": 31609, "Soco": 31538, "assenzio": 31611, "Maalalel": 31396, "Refaim": 31490, "Tiglat": 31553, "Chebar": 31230, "Gelboe": 31304, "piedistallo": 31907, "Migdol": 31424, "Assarhaddon": 31166, "Elisamà": 31271, "Abdenego": 31103, "Moabiti": 31428, "salverai": 31972, "Itamar": 31377, "Assiria": 31167, "maestà": 31846, "Romelia": 31497, "Arpacsad": 31159, "zanzare": 32099, "Ghersoniti": 31310, "mietitori": 31857, "Astarot": 31169, "Iarmut": 31338, "porpora": 31910, "Melchisedek": 31412, "Penuel": 31471, "Mattatia": 31410, "mirra": 31859, "Amorrei": 31142, "Ioiakim": 31363, "rallegrò": 31936, "misurò": 31862, "Salmanassar": 31505, "colombe": 31677, "vacche": 32084, "grembo": 31773, "olivo": 31876, "truppa": 32066, "pigro": 31908, "pregherò": 31915, "angosce": 31597, "Esaù": 31277, "Gedeone": 31302, "quadrupedi": 31931, "Michea": 31422, "Cazael": 31226, "Efron": 31259, "usanza": 32082, "Issacar": 31376, "giaciglio": 31762, "Tolemaide": 31557, "libagioni": 31836, "Caino": 31213, "Onia": 31453, "Eliseo": 31272, "dimorerà": 31703, "enigmi": 31717, "Iesse": 31350, "Betania": 31202, "Tabor": 31544, "eseguì": 31720, "lodino": 31842, "Gebusei": 31300, "deserta": 31694, "filistei": 31740, "disonorato": 31706, "Giosafat": 31317, "Zebedeo": 31572, "Iedutun": 31344, "Maccabeo": 31399, "ruscelli": 31967, "Rabbà": 31483, "Astarte": 31170, "ricostruì": 31949, "cipresso": 31673, "siclo": 32012, "Raguele": 31487, "Iefte": 31345, "Costoro": 31238, "Uria": 31562, "Cafarnao": 31211, "Milca": 31425, "scacciati": 31979, "Surisaddai": 31543, "arida": 31603, "scelleratezze": 31988, "scaccerò": 31977, "mosto": 31865, "sepolcro": 32005, "vassoio": 32088, "asina": 31606, "calpestano": 31638, "steppe": 32030, "Ramot": 31489, "Chesbon": 31233, "proverbio": 31928, "Maacà": 31395, "scacciò": 31981, "braciere": 31630, "Balak": 31185, "ingiusto": 31815, "Debir": 31247, "pozzi": 31912, "Esdrelon": 31279, "Carissimi": 31222, "Carmelo": 31223, "stoffa": 32036, "Arnon": 31156, "Chedorlaomer": 31231, "sterminati": 32033, "Bacurim": 31183, "asini": 31607, "centurione": 31664, "Geenna": 31303, "Barabba": 31187, "eccelso": 31711, "Ieus": 31353, "manciata": 31849, "trasgressione": 32059, "inganno": 31812, "insistenza": 31822, "impuro": 31792, "risuscitato": 31961, "Adar": 31122, "Giobbe": 31316, "capitello": 31651, "circoncidere": 31674, "Amos": 31144, "Giosia": 31318, "Ioiachin": 31361, "tumulto": 32068, "Ebiatar": 31254, "Lisia": 31393, "incalcolabile": 31795, "laccio": 31828, "Ittita": 31379, "Maskil": 31408, "cordoni": 31685, "balsamo": 31618, "prostrarono": 31925, "Basan": 31193, "Acaia": 31111, "palmo": 31891, "Negheb": 31438, "inghiottì": 31813, "elemosina": 31715, "melagrane": 31855, "anfora": 31596, "Qoelet": 31480, "Sefela": 31517, "suocera": 32039, "concupiscenza": 31681, "genealogie": 31759, "Isacco": 31372, "Giudeo": 31321, "Azmavet": 31175, "topazio": 32051, "Nazaret": 31434, "umiliarono": 32077, "Raab": 31481, "accamparono": 31586, "ucciderai": 32075, "Osea": 31461, "Kedar": 31385, "cedri": 31661, "sterminerò": 32034, "Sicon": 31528, "Samuele": 31507, "Idumea": 31341, "idoli": 31778, "trafitto": 32057, "valoroso": 32086, "scriba": 31998, "sciacalli": 31992, "Meriba": 31418, "elefanti": 31714, "zizzania": 32100, "Gog": 31326, "Omri": 31452, "Baasà": 31180, "scampati": 31982, "torrenti": 32053, "Iearim": 31342, "bisaccia": 31627, "cantico": 31647, "Siklag": 31530, "sgabello": 32010, "risorgono": 31959, "Asor": 31164, "prodezze": 31920, "costui": 31688, "Giaffa": 31313, "Assuero": 31168, "Alcimo": 31130, "Aronne": 31158, "insulto": 31823, "cervice": 31667, "oppressori": 31881, "Ghersom": 31309, "Abiram": 31107, "Gheber": 31308, "pascolare": 31895, "ribellò": 31945, "Tekoa": 31549, "Aialon": 31128, "locuste": 31838, "sterile": 32031, "esultanza": 31724, "Ioiadà": 31362, "Giasone": 31314, "Iosadak": 31367, "Iabbok": 31332, "Gaal": 31294, "calpestata": 31639, "Avverrà": 31173, "Zilpa": 31573, "tuonò": 32072, "guadi": 31775, "Nacor": 31433, "tremanti": 32062, "ceppi": 31665, "Macla": 31400, "Keila": 31387, "magnificenza": 31848, "Pietà": 31475, "Mical": 31421, "saette": 31970, "Ohimè": 31449, "Curam": 31243, "ricolmi": 31946, "narici": 31866, "Filisteo": 31292, "impadronì": 31787, "focaccia": 31746, "abominazioni": 31579, "scribi": 31999, "soave": 32016, "severo": 32007, "Ieremot": 31347, "Booz": 31210, "picchetti": 31906, "Adonia": 31123, "caparbietà": 31649, "rettili": 31944, "Abarim": 31102, "Semaià": 31521, "Giudea": 31320, "Pregate": 31477, "Doeg": 31252, "stoltezza": 32037, "Sila": 31531, "idolatria": 31777, "mangeranno": 31851, "Gabael": 31296, "Mardocheo": 31407, "Paddan": 31464, "apostolo": 31600, "olocausti": 31877, "ruggine": 31965, "prendila": 31917, "battezzava": 31621, "Araba": 31152, "spranghe": 32026, "Osserverete": 31462, "Fenicia": 31288, "Sebna": 31512, "Ribla": 31494, "Radunatevi": 31486, "Etam": 31280, "parabola": 31892, "cherubino": 31672, "Amasia": 31135, "cherubini": 31671, "Achitofel": 31119, "cavallette": 31658, "Otniel": 31463, "Tarsis": 31548, "Kades": 31381, "scamperà": 31984, "Arabia": 31153, "Ghezer": 31311, "alleanze": 31594, "assiro": 31612, "vessillo": 32091, "trasgressioni": 32060, "Carran": 31224, "spezzerò": 32022, "Guai": 31330, "Manasse": 31405, "ostinato": 31887, "belve": 31623, "Abele": 31104, "capitelli": 31650, "possiedi": 31911, "indemoniato": 31803, "Abner": 31109, "suocero": 32040, "persecutori": 31904, "cenno": 31663, "uncini": 32078, "Iobab": 31360, "forestieri": 31748, "inaridiscono": 31793, "Labano": 31389, "Giuditta": 31322, "iniquità": 31816, "offeso": 31875, "solennità": 32018, "Gabaoniti": 31297, "Eliasaf": 31264, "quarantaseimilacinquecento": 31932, "lodo": 31843, "accampò": 31589, "Balaam": 31184, "Perizziti": 31473, "Sinai": 31533, "Artaserse": 31161, "cammelli": 31642, "Zorobabele": 31575, "sterminare": 32032, "Akkub": 31129, "flagello": 31743, "invoco": 31824, "Ioacaz": 31357, "germogliare": 31760, "lodatelo": 31840, "regnare": 31940, "Trifone": 31559, "mangerai": 31850, "risorto": 31960, "brace": 31629, "gazzelle": 31758, "beata": 31622, "facemmo": 31731, "inciampo": 31799, "oracoli": 31883, "Verbo": 31566, "melograni": 31856, "iniquo": 31817, "rugiada": 31966, "Chiram": 31234, "notturne": 31869, "miriadi": 31858, "Elioenai": 31270, "tuoni": 32071, "adultera": 31590, "Betuel": 31206, "Lazzaro": 31392, "infuori": 31811, "esorto": 31721, "Abinadab": 31106, "Regnò": 31492, "Filistea": 31290, "agnello": 31593, "Anatot": 31147, "ragionamenti": 31935, "cisterne": 31676, "Acazia": 31112, "Tessalonica": 31551, "stele": 32028, "lasciatevi": 31829, "Casabia": 31225, "scolpire": 31994, "Beniaminita": 31196, "canestro": 31646, "ridurrò": 31950, "Ionadab": 31365, "Azoto": 31176, "svergognati": 32045, "Urlate": 31563, "spigolare": 32025, "Beelzebul": 31194, "proclamò": 31919, "abominevoli": 31581, "gonorrea": 31770, "cubiti": 31691, "undicesimo": 32079, "Meremot": 31417, "sinagoga": 32013, "mangerete": 31852, "Iddo": 31340, "Baruc": 31191, "Agnello": 31125, "Innom": 31355, "lebbra": 31830, "trentacinquemilaquattrocento": 32063, "palato": 31890, "supplicò": 32044, "toglierai": 32050, "Cantico": 31218, "sandalo": 31974, "diadema": 31697, "Millo": 31426, "esultino": 31726, "diluvio": 31702, "Vidi": 31567, "Ofir": 31447, "riempì": 31951, "scongiuro": 31996, "incenso": 31797, "Gezabele": 31307, "informò": 31810, "impeto": 31788, "vivrai": 32097, "inebrianti": 31807, "Misurò": 31427, "rivestì": 31963, "Amaleciti": 31132, "devastatore": 31696, "Zimrì": 31574, "quarantunmilacinquecento": 31933, "ariete": 31604, "Gomorra": 31327, "regnava": 31941, "Barnaba": 31189, "Achinoam": 31117, "paterna": 31900, "fariseo": 31737, "vitello": 32095, "Debora": 31248, "Arpad": 31160, "issopo": 31827, "Zebadia": 31571, "Caldei": 31214, "Sansone": 31509, "tribolazione": 32064, "Cilicia": 31235, "sentinelle": 32003, "annientati": 31598, "superstite": 32043, "Seraià": 31524, "assennato": 31610, "inavvertenza": 31794, "Achitub": 31120, "Ammisaddai": 31138, "Peor": 31472, "Godolia": 31325, "Sidone": 31529, "Asaf": 31162, "risorgerà": 31958, "Anania": 31146, "Babilonesi": 31181, "Amminadab": 31137, "rimpatriati": 31952, "peccherà": 31901, "Eud": 31284, "Baltassar": 31186, "greggi": 31772, "disperderà": 31708, "immondo": 31782, "griderà": 31774, "pascoleranno": 31896, "Merarì": 31416, "sentinella": 32002, "Ermon": 31274, "Atalia": 31171, "profanare": 31921, "abisso": 31577, "castighi": 31653, "Sefatia": 31516, "Sadoc": 31501, "carrelli": 31652, "Tichico": 31552, "ricondurrò": 31947, "sovrintendente": 32020, "nazireato": 31867, "Eliasib": 31265, "Persiani": 31474, "trasgredito": 32058, "Tolomeo": 31558, "Ebed": 31253, "occidente": 31874, "pasquali": 31898, "schiave": 31991, "gazzella": 31757, "immorale": 31783, "Berechia": 31200, "costoro": 31687, "Giunsero": 31323, "Ammiud": 31139, "onnipotente": 31880, "concittadini": 31679, "bruciò": 31633, "Corma": 31236, "eternità": 31728, "acacia": 31583, "impadronirsi": 31786, "nuziale": 31873, "Iabin": 31334, "cetre": 31670, "mascelle": 31854, "breccia": 31631, "Benaià": 31195, "Efrata": 31258, "bestemmiatore": 31626, "crogiuolo": 31690, "Barnea": 31190, "Terach": 31550, "Zaccur": 31569, "Barak": 31188, "forestiero": 31749, "Avvicinatevi": 31174, "novilunio": 31870, "cupidigia": 31692, "Abisai": 31108, "Ghibbeton": 31312, "fecondi": 31738, "Achiman": 31116, "senno": 32001, "rimprovero": 31954, "Capanne": 31220, "olocausto": 31878, "concubine": 31680, "fuggiasco": 31755, "misericordioso": 31861, "Barzillai": 31192, "Achior": 31118, "candelabri": 31644, "Erode": 31275, "Iacaziel": 31335, "scarlatta": 31986, "Festo": 31289, "Geroboamo": 31306, "Alleluia": 31131, "udranno": 32076, "piombare": 31909, "Selomit": 31520, "sorveglianti": 32019, "Bacchide": 31182, "Giosuè": 31319, "cortili": 31686, "pagani": 31888, "coppe": 31684, "abominevole": 31580, "buoi": 31635, "castoni": 31655, "giovenchi": 31765, "Sanballat": 31508, "lievito": 31837, "Eliodoro": 31269, "giubileo": 31768, "pronunciò": 31924, "macello": 31845, "torchio": 32052, "Selemia": 31518, "sicli": 32011, "Aristarco": 31155, "Oracolo": 31457, "leopardo": 31834, "Kenaz": 31388, "Iamnia": 31337, "viscere": 32093, "sessantaduemilasettecento": 32006, "tortore": 32054, "eterne": 31727, "Bersabea": 31201, "Lachis": 31390, "Sorgi": 31541, "Menachem": 31413, "diligenza": 31701, "Selofcad": 31519, "Samaria": 31506, "Ittai": 31378, "scarlatto": 31987, "marciò": 31853, "libagione": 31835, "Ioiarib": 31364, "sinagoghe": 32014, "Peleg": 31469, "Gebuseo": 31301, "dottrine": 31710, "Ietro": 31352, "Zebach": 31570, "farisei": 31736, "Efeso": 31257, "Manoach": 31406, "Elifaz": 31267, "Imla": 31354, "asino": 31608, "Sennacherib": 31523, "Iabes": 31333, "Dagon": 31244, "Giunto": 31324, "Obed": 31446, "Pascur": 31466, "Meraiot": 31415, "Sisara": 31535, "Ungerai": 31561, "disparte": 31707, "leoncello": 31833, "Sodoma": 31539, "Sacerdoti": 31500, "Antiochia": 31148, "bruceranno": 31632, "steppa": 32029, "editto": 31712, "Noemi": 31444, "impure": 31791, "Meghiddo": 31411, "Gosen": 31329, "Ezer": 31287, "Beniaminiti": 31197, "stanghe": 32027, "Oolibà": 31456, "salimmo": 31971, "Iotam": 31368, "Carim": 31221, "alterigia": 31595, "recipienti": 31938, "caverne": 31660, "Madianiti": 31402, "impura": 31790, "tuniche": 32070, "Ioas": 31359, "prostrò": 31927, "Demetrio": 31249, "Sealtiel": 31511, "Camor": 31215, "Tamar": 31546, "Iconio": 31339, "Ieconia": 31343, "Aquila": 31151, "Iaakan": 31331, "Pilato": 31476, "Rabbunì": 31482, "Betlemme": 31203, "eunuchi": 31729, "opprimono": 31882, "Nabal": 31429, "inginocchiò": 31814, "Betsabea": 31204, "pascolo": 31897, "Maasia": 31397, "Serebia": 31525, "maghi": 31847, "ignominia": 31780, "avorio": 31615, "nuora": 31872, "Ebreo": 31255, "Erodiade": 31276, "saziati": 31975, "Eleazaro": 31262, "Oolibamà": 31455, "oracolo": 31884, "Achikam": 31113, "Beniamino": 31198, "insensato": 31821, "candelabro": 31645, "ceppo": 31666, "Laodicea": 31391, "sepolcri": 32004, "incirconcisione": 31800, "Ridurrò": 31495, "sterminio": 32035, "Achikar": 31114, "Abigail": 31105, "misericordiosi": 31860, "Difatti": 31251, "Onnipotente": 31454, "soggiunse": 32017, "Ismaele": 31374, "divine": 31709, "montone": 31863, "elemosine": 31716, "bastoni": 31620, "fionda": 31741, "sinedrio": 32015, "Finees": 31293, "precetti": 31913, "Ezechiele": 31286, "inchinò": 31798, "giovenco": 31766, "rimproveri": 31953, "calici": 31637, "tabernacolo": 32046, "Cretei": 31241, "Apollonio": 31150, "unguento": 32080, "Safat": 31503, "Reuel": 31493, "Rabbì": 31484, "Etiope": 31282, "flagelli": 31742, "superbia": 32041, "Kareach": 31383, "Sedecia": 31514, "foraggio": 31747, "trafitti": 32056, "abominio": 31582, "saccheggio": 31968, "Ammedata": 31136, "Tirsa": 31554, "Macpela": 31401, "omicida": 31879, "risusciterà": 31962, "Avila": 31172, "Giezi": 31315, "Iafet": 31336, "calpestato": 31640, "Ipocrita": 31370, "tribolazioni": 32065, "Filistei": 31291, "Rallegratevi": 31488, "scampo": 31985, "Pecore": 31468, "pagliuzza": 31889, "giogo": 31763, "vettovaglie": 32092, "Nabot": 31430, "riconoscenza": 31948, "cetra": 31669, "Preghiera": 31478, "tunica": 32069, "Mattania": 31409, "spighe": 32024, "Amalek": 31133, "Cananei": 31217, "zaffiro": 32098, "bugiardi": 31634, "scettro": 31989, "profetessa": 31923, "fulmini": 31756, "scampato": 31983, "Lodatelo": 31394, "argilla": 31602, "Datan": 31246, "orrore": 31885, "lebbroso": 31831, "Neftali": 31437, "sazietà": 31976, "sconfiggerai": 31995, "idolo": 31779, "usanze": 32083, "falegnami": 31732, "discordia": 31705, "Dibon": 31250, "caverna": 31659, "Macanaim": 31398, "Betsaida": 31205, "Beor": 31199, "Tofet": 31556, "benevolenza": 31624, "commensali": 31678, "Asera": 31163, "irreprensibile": 31826, "Eliezer": 31266, "Antioco": 31149, "fanciulla": 31733, "pruni": 31929, "abluzioni": 31578, "zoppo": 32101, "Micmas": 31423, "Oltrefiume": 31451, "Pentecoste": 31470, "Eufrate": 31285, "nazireo": 31868, "giubilo": 31769, "vitelli": 32094, "guardatevi": 31776, "Nabucodonosor": 31431, "accampamento": 31585, "indulgenza": 31806, "connazionali": 31683, "trafiggerà": 32055, "espiatorio": 31722, "incamminò": 31796, "Sion": 31534, "Tafni": 31545, "calunnie": 31641, "impunito": 31789, "flauto": 31744, "grappoli": 31771, "lodarti": 31839, "risorgeranno": 31956, "preleverete": 31916, "Nilo": 31442, "bestemmiarono": 31625, "Paseach": 31467, "scherno": 31990, "giovenca": 31764, "Refidim": 31491, "sciagura": 31993, "giovinetto": 31767, "detesto": 31695, "scacciato": 31980, "Amoz": 31145, "diaspro": 31698, "Succot": 31542, "impadronirono": 31785, "Semes": 31522, "Simeone": 31532, "lodavano": 31841, "efod": 31713, "agguato": 31592, "Assalonne": 31165, "spezzò": 32023, "agguati": 31591, "Tappuach": 31547, "vantarmi": 32087, "insensati": 31820, "focacce": 31745, "Costruì": 31239, "perfidia": 31903, "Betulia": 31207, "Eglon": 31260, "Chelkia": 31232, "Cefa": 31228, "Sefarvaim": 31515, "Iefunnè": 31346, "confido": 31682, "incirconciso": 31801, "Keatiti": 31384, "Zaccaria": 31568, "oscurità": 31886, "Gabaa": 31295, "prepotenza": 31918, "stracciò": 32038, "Mesullam": 31420, "Aroer": 31157, "Elnatan": 31273, "Canaan": 31216, "immoralità": 31784, "prefetti": 31914, "Cesarea": 31229, "regnò": 31942, "Nicanore": 31441, "passarvi": 31899, "cisterna": 31675, "Damasco": 31245, "Paran": 31465, "lembo": 31832, "tigna": 32049, "Costui": 31240, "accampati": 31588, "sfinito": 32008, "Galilea": 31299, "Roboamo": 31496, "arieti": 31605, "Aggeo": 31124, "Canun": 31219, "accampamenti": 31584, "Etiopia": 31283, "Acab": 31110, "Netanel": 31439, "Aramei": 31154, "Principio": 31479, "Ierimot": 31348, "abissi": 31576, "indovini": 31805, "Seruià": 31526, "viveri": 32096, "fiele": 31739, "avanzò": 31614, "Ierocam": 31349, "Siba": 31527, "Ioram": 31366, "fuggiaschi": 31754, "Ninive": 31443, "Adadezer": 31121, "Ammoniti": 31140, "azzimi": 31616, "scacciare": 31978, "covoni": 31689, "parabole": 31893, "franchezza": 31752, "Ioach": 31358, "Boaz": 31209, "Cornelio": 31237, "Esdra": 31278, "profano": 31922, "turbante": 32073, "Iscariota": 31373}

special_tokens_map.json

@@ -0,0 +1 @@
+{"unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]"}

tokenizer_config.json

@@ -0,0 +1 @@
+{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "max_len": 512, "special_tokens_map_file": null, "name_or_path": "vppvgit/BiblItBERT", "do_basic_tokenize": true, "never_split": null, "tokenizer_class": "BertTokenizer"}