Create mapa_de_tokens.py

mapa_de_tokens.py

@@ -0,0 +1,44 @@
+{
+  "add_bos_token" :  verdadero ,
+  "add_eos_token" :  falso ,
+  "add_prefix_space" :  nulo ,
+  "decodificador_de_tokens_agregados" :  {
+    "0" :  {
+      "Contenido" :  "" ,
+      "lstrip" :  falso ,
+      "normalizado" :  falso ,
+      "rstrip" :  falso ,
+      "palabra_única" :  falso ,
+      "especial" :  verdadero
+    } ,
+    "1" :  {
+      "contenido" :  "<s>" ,
+      "lstrip" :  falso ,
+      "normalizado" :  falso ,
+      "rstrip" :  falso ,
+      "palabra_única" :  falso ,
+      "especial" :  verdadero
+    } ,
+    "2" :  {
+      "contenido" :  "</s>" ,
+      "lstrip" :  falso ,
+      "normalizado" :  falso ,
+      "rstrip" :  falso ,
+      "palabra_única" :  falso ,
+      "especial" :  verdadero
+    }
+  } ,
+  "tokens_especiales_adicionales" :  [ ] ,
+  "bos_token" :  "<s>" ,
+  "chat_template" :  "{%- if messages[0]['role'] == 'system' %}\n {%- set system_message = messages[0]['content'] %}\n {%- set loop_messages = messages[1:] %}\n{%- else %}\n {%- set loop_messages = messages %}\n{%- endif %}\n\n{{- bos_token }}\n{%- for message in loop_messages %}\n {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}\n {{- raise_exception('Después del mensaje de sistema opcional, los roles de conversación deben alternar usuario/asistente/usuario/asistente/...') }}\n {%- endif %}\n {%- if message['role'] == 'user' %}\n {%- si loop.first y system_message están definidos %}\n {{- ' [INST] ' + system_message + '\\n\\n' + message['content'] + ' [/INST]' }}\n {%- de lo contrario %}\n {{- ' [INST] ' + message['content'] + ' [/INST]' }}\n {%- endif %}\n {%- elif message['role'] == 'assistant' %}\n {{- ' ' + message['content'] + eos_token}}\n {%- de lo contrario %}\n {{- raise_exception('¡Solo se admiten los roles de usuario y asistente, con la excepción de un mensaje inicial del sistema opcional!') }}\n {%- endif %}\n{%- endfor %}\n" ,
+  "limpiar_espacios_de_tokenización" :  falso ,
+  "eos_token" :  "</s>" ,
+  "legado" :  falso ,
+  "longitud_máxima_modelo" :  1000000000000000019884624838656 ,
+  "pad_token" :  nulo ,
+  "sp_model_kwargs" :  { } ,
+  "espacios_entre_tokens_especiales" :  falso ,
+  "clase_tokenizador" :  "LlamaTokenizer" ,
+  "unk_token" :  "" ,
+  "use_default_system_prompt" :  falso
+}