Spaces:
Paused
Paused
Update finetunning.py
Browse files- finetunning.py +2 -0
finetunning.py
CHANGED
@@ -28,6 +28,8 @@ model_name = "meta-llama/Meta-Llama-3.1-8B"
|
|
28 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
29 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
30 |
|
|
|
|
|
31 |
# Завантаження датасета (приклад з використанням датасета wiki_text)
|
32 |
# dataset = load_dataset("wikitext", "wikitext-2-raw-v1", split="train")
|
33 |
# dataset = load_dataset("Aniemore/resd")
|
|
|
28 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
29 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
30 |
|
31 |
+
tokenizer.pad_token = tokenizer.eos_token
|
32 |
+
|
33 |
# Завантаження датасета (приклад з використанням датасета wiki_text)
|
34 |
# dataset = load_dataset("wikitext", "wikitext-2-raw-v1", split="train")
|
35 |
# dataset = load_dataset("Aniemore/resd")
|