File size: 2,245 Bytes
48e9d53 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 |
{
"add_bos_token" : verdadero ,
"add_eos_token" : falso ,
"add_prefix_space" : nulo ,
"decodificador_de_tokens_agregados" : {
"0" : {
"Contenido" : "" ,
"lstrip" : falso ,
"normalizado" : falso ,
"rstrip" : falso ,
"palabra_única" : falso ,
"especial" : verdadero
} ,
"1" : {
"contenido" : "<s>" ,
"lstrip" : falso ,
"normalizado" : falso ,
"rstrip" : falso ,
"palabra_única" : falso ,
"especial" : verdadero
} ,
"2" : {
"contenido" : "</s>" ,
"lstrip" : falso ,
"normalizado" : falso ,
"rstrip" : falso ,
"palabra_única" : falso ,
"especial" : verdadero
}
} ,
"tokens_especiales_adicionales" : [ ] ,
"bos_token" : "<s>" ,
"chat_template" : "{%- if messages[0]['role'] == 'system' %}\n {%- set system_message = messages[0]['content'] %}\n {%- set loop_messages = messages[1:] %}\n{%- else %}\n {%- set loop_messages = messages %}\n{%- endif %}\n\n{{- bos_token }}\n{%- for message in loop_messages %}\n {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}\n {{- raise_exception('Después del mensaje de sistema opcional, los roles de conversación deben alternar usuario/asistente/usuario/asistente/...') }}\n {%- endif %}\n {%- if message['role'] == 'user' %}\n {%- si loop.first y system_message están definidos %}\n {{- ' [INST] ' + system_message + '\\n\\n' + message['content'] + ' [/INST]' }}\n {%- de lo contrario %}\n {{- ' [INST] ' + message['content'] + ' [/INST]' }}\n {%- endif %}\n {%- elif message['role'] == 'assistant' %}\n {{- ' ' + message['content'] + eos_token}}\n {%- de lo contrario %}\n {{- raise_exception('¡Solo se admiten los roles de usuario y asistente, con la excepción de un mensaje inicial del sistema opcional!') }}\n {%- endif %}\n{%- endfor %}\n" ,
"limpiar_espacios_de_tokenización" : falso ,
"eos_token" : "</s>" ,
"legado" : falso ,
"longitud_máxima_modelo" : 1000000000000000019884624838656 ,
"pad_token" : nulo ,
"sp_model_kwargs" : { } ,
"espacios_entre_tokens_especiales" : falso ,
"clase_tokenizador" : "LlamaTokenizer" ,
"unk_token" : "" ,
"use_default_system_prompt" : falso
} |