vector2000 commited on
Commit
9851a8c
·
verified ·
1 Parent(s): 2cdb9f1

Update finetunning.py

Browse files
Files changed (1) hide show
  1. finetunning.py +2 -0
finetunning.py CHANGED
@@ -28,6 +28,8 @@ model_name = "meta-llama/Meta-Llama-3.1-8B"
28
  tokenizer = AutoTokenizer.from_pretrained(model_name)
29
  model = AutoModelForCausalLM.from_pretrained(model_name)
30
 
 
 
31
  # Завантаження датасета (приклад з використанням датасета wiki_text)
32
  # dataset = load_dataset("wikitext", "wikitext-2-raw-v1", split="train")
33
  # dataset = load_dataset("Aniemore/resd")
 
28
  tokenizer = AutoTokenizer.from_pretrained(model_name)
29
  model = AutoModelForCausalLM.from_pretrained(model_name)
30
 
31
+ tokenizer.pad_token = tokenizer.eos_token
32
+
33
  # Завантаження датасета (приклад з використанням датасета wiki_text)
34
  # dataset = load_dataset("wikitext", "wikitext-2-raw-v1", split="train")
35
  # dataset = load_dataset("Aniemore/resd")