adalbertojunior

/

Llama-3-8B-Dolphin-Portuguese

like 5

utilizei o seguinte código

chat_response = [
                            {"role": "system", "content": str(system_prompt)},
                            {"role": "user", "content": str(prompt)},
                            {"role": "assistant", "content": str(response)},
                        ]
processed_examples.append(tokenizer.apply_chat_template(chat_response, tokenize=False, add_generation_prompt=False))
tokenized_examples = tokenizer(processed_examples, padding=False, truncation=True, max_length=data_args.block_size)

Checando o template oficial do Llama3, e também o arquivo tokenizer_config.json, o template em texto puro seria esse:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{{ system_prompt }}<|eot_id|><|start_header_id|>user<|end_header_id|>

{{ user_message }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Obrigado!