Added weights

README.md

@@ -0,0 +1,238 @@
+---
+library_name: transformers
+license: apache-2.0
+tags:
+- finnish
+- llama
+inference: true
+pipeline_tag: text-generation
+---
+This is an EXL2 quantized model in 4bpw of [Finnish-NLP/llama-7b-finnish-instruct-v0.2](https://huggingface.co/Finnish-NLP/llama-7b-finnish-instruct-v0.2) using the default calibration dataset.
+
+Prompt format is custom (it seems to be kinda broken):
+
+```
+<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+{}
+<|avustaja|> Vastauksesi:
+<|loppu|>
+```
+
+# Original Model card:
+
+# Llama-7b-instruct-v0.2 for Finnish
+
+
+- This is 0.2 version release of our Instruct finetuned model from https://huggingface.co/Finnish-NLP/llama-7b-finnish 
+- Model was trained for 3 epochs using 21946 samples and for this release we chose checkpoint at 8000 steps. 
+- Future DPO/SFT+DPO variants are in the pipeline. Also we are investigating and testing different merging techiques
+
+For finetuning we try to select well known and widely used dataset and then filter/translate those with multiple methods:
+For this version we used a mix 21946 samples in total from the the following datasets:
+ - LIMA from https://github.com/TurkuNLP/finnish-instructions 
+ - Dolly from https://github.com/TurkuNLP/finnish-instructions 
+ - OASST from https://github.com/TurkuNLP/finnish-instructions 
+ - Ultrafeedback https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized/viewer/default/train_sft translated with deepl
+ - facebook/belebele Finnish subset
+ - google/boolq translated with deepl
+ - LDJnr/Capybara translated with deepl
+ - allenai/ai2_arc translated with deepl
+
+
+### How to use
+
+Here is an example of using this model with Unsloth with some generation arguments you can modify:
+
+```python
+import torch
+from unsloth import FastLlamaModel
+
+max_seq_length = 2048
+dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
+load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.
+
+
+use_unsloth = True
+# use_transformers = True
+
+# LOADING MODEL USIINIG TRANSFORMERS assumes at least 16GB of memory. Tested with this configuration
+# If you have less memory use load_in_4bit or load_in_8_bit as needed
+if use_transformers:
+  major_version, minor_version = torch.cuda.get_device_capability()
+  model = AutoModelForCausalLM.from_pretrained("Finnish-NLP/llama-7b-finnish-instruct-v0.2", device_map='cuda:0', torch_dtype = torch.bfloat16 if major_version >=8 else torch.float16)
+  tokenizer = AutoTokenizer.from_pretrained("Finnish-NLP/llama-7b-finnish-instruct-v0.2")
+
+# USING UNSLOTH, tested with load_in_4bit
+if use_unsloth:
+  model, tokenizer = FastLlamaModel.from_pretrained(
+      model_name = "Finnish-NLP/llama-7b-finnish-instruct-v0.2"
+      max_seq_length = max_seq_length,
+      dtype = dtype,
+      load_in_4bit = load_in_4bit
+  )
+
+alpaca_prompt = """<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+{}
+<|avustaja|> Vastauksesi:
+"""
+
+sample_questions = ["Ketkä ovat Aku Ankan luona asuvat kolme ankanpoikaa?",\
+"Mikä on Suomen korkein tunturi?",\
+"Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?",\
+"Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:",\
+"Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:",\
+]
+
+from transformers import GenerationConfig
+
+generation_config = GenerationConfig(
+    pad_token_id=tokenizer.eos_token_id,
+    eos_token_id=tokenizer.convert_tokens_to_ids("<|loppu|>"),
+)
+
+
+for sample_question in sample_questions:
+
+  model.eval()
+  
+  inputs = tokenizer(
+[
+    alpaca_prompt.format(
+        sample_question, # instruction
+    )
+]*1, return_tensors = "pt").to("cuda")
+  
+  with torch.no_grad():
+      generated_ids = model.generate(
+      input_ids=inputs["input_ids"], 
+      attention_mask=inputs["attention_mask"], 
+      generation_config=generation_config, **{
+        "temperature": 0.1,
+        "penalty_alpha": 0.6,
+        "top_k": 3,
+        "do_sample": True,
+        "repetition_penalty": 1.28,
+        "min_length": 10,
+        "max_new_tokens": 200
+      })
+  
+  generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)[0]
+  print(len(generated_ids[0]))
+  print("KYSYMYS:")
+  print(generated_text.split('<|avustaja|>')[0])
+  print("VASTAUS:")
+  print(generated_text.split('<|avustaja|> Vastauksesi:')[1])
+  print('##################################')
+
+'''
+-->
+<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+ Aku Ankan luona asuu kolme ankanpoikaa. Mitkä ovat heidän nimet?
+VASTAUS:
+ Ankka Akun kanssa asuvat pojat ovat nimeltään Tupu, Hupu ja Lupu <|loppu|>
+##################################
+
+KYSYMYS:
+<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+ Mikä on Suomen korkein tunturi?
+VASTAUS:
+ Suomen korkein tunturihuippu on Haltitunturi (1 324 metriä). <|loppu|>
+##################################
+
+KYSYMYS:
+<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+ Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?
+VASTAUS:
+ Talvisodan aikana Neuvostoliitto hyökkäsi Suomeen 30. marraskuuta ja 13. maaliskuuta välisenä aikana. Tämä tarkoittaa, että talvisota kesti 105 päivää. <|loppu|>
+##################################
+
+KYSYMYS:
+<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+ Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:
+VASTAUS:
+ Yleisiä suomalaisia poikien nimiä ovat Eino, Onni, Olavi, Väinö ja Ilmari. <|loppu|>
+##################################
+
+KYSYMYS:
+<s><|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+ Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:
+VASTAUS:
+ Olipa kerran kaunis maa,
+ jossa ihmiset elivät sopusoinnussa.
+ Se oli täynnä metsiä ja järviä,
+ ja siellä asui onnellisia ja ystävällisiä ihmisiä. <|loppu|>
+```
+
+### Limitations and bias
+
+The training data used for this model contains a lot of content from the internet, which is far from neutral. 
+Therefore, the model can have biased predictions. This bias will also affect all fine-tuned versions of this model.
+To reduce toxic content, the pretrained version of thiis model was trained with dataset filtered with a toxicity classifier but it cannot truly eliminate all toxic text.
+
+### Finetuning
+
+Training was conducted on RTX 4080 using Unsloth framework https://github.com/unslothai/unsloth \
+Training script is available in this repo.
+
+
+## Evaluation results
+
+This model was evaluated using [FIN-bench by TurkuNLP](https://github.com/TurkuNLP/FIN-bench) with zero-shot setting, but \
+the evaluation script had some problems running succesfully, so the results reported below should perhaps be viewed with some caution.
+
+[llama-7b-finnish-instruct-v0.2](https://huggingface.co/Finnish-NLP/llama-7b-finnish-instruct-v0.2):
+
+|                      Task                      |Version|       Metric        |Value |   |Stderr|
+|------------------------------------------------|------:|---------------------|-----:|---|-----:|
+|bigbench_analogies                              |      0|multiple_choice_grade|0.5385|±  |0.0439|
+|bigbench_arithmetic_1_digit_addition            |      0|multiple_choice_grade|0.3400|±  |0.0476|
+|bigbench_arithmetic_1_digit_division            |      0|multiple_choice_grade|0.4783|±  |0.1065|
+|bigbench_arithmetic_1_digit_multiplication      |      0|multiple_choice_grade|0.5200|±  |0.0502|
+|bigbench_arithmetic_1_digit_subtraction         |      0|multiple_choice_grade|0.3400|±  |0.0476|
+|bigbench_arithmetic_2_digit_addition            |      0|multiple_choice_grade|0.3200|±  |0.0469|
+|bigbench_arithmetic_2_digit_division            |      0|multiple_choice_grade|0.3400|±  |0.0476|
+|bigbench_arithmetic_2_digit_multiplication      |      0|multiple_choice_grade|0.2200|±  |0.0416|
+|bigbench_arithmetic_2_digit_subtraction         |      0|multiple_choice_grade|0.2800|±  |0.0451|
+|bigbench_arithmetic_3_digit_addition            |      0|multiple_choice_grade|0.3000|±  |0.0461|
+|bigbench_arithmetic_3_digit_division            |      0|multiple_choice_grade|0.2500|±  |0.0435|
+|bigbench_arithmetic_3_digit_multiplication      |      0|multiple_choice_grade|0.2200|±  |0.0416|
+|bigbench_arithmetic_3_digit_subtraction         |      0|multiple_choice_grade|0.4000|±  |0.0492|
+|bigbench_arithmetic_4_digit_addition            |      0|multiple_choice_grade|0.3500|±  |0.0479|
+|bigbench_arithmetic_4_digit_division            |      0|multiple_choice_grade|0.2600|±  |0.0441|
+|bigbench_arithmetic_4_digit_multiplication      |      0|multiple_choice_grade|0.2100|±  |0.0409|
+|bigbench_arithmetic_4_digit_subtraction         |      0|multiple_choice_grade|0.4400|±  |0.0499|
+|bigbench_arithmetic_5_digit_addition            |      0|multiple_choice_grade|0.4500|±  |0.0500|
+|bigbench_arithmetic_5_digit_division            |      0|multiple_choice_grade|0.1800|±  |0.0386|
+|bigbench_arithmetic_5_digit_multiplication      |      0|multiple_choice_grade|0.2000|±  |0.0402|
+|bigbench_arithmetic_5_digit_subtraction         |      0|multiple_choice_grade|0.5000|±  |0.0503|
+|bigbench_cause_and_effect_one_sentence          |      0|multiple_choice_grade|0.5294|±  |0.0706|
+|bigbench_cause_and_effect_one_sentence_no_prompt|      0|multiple_choice_grade|0.8627|±  |0.0487|
+|bigbench_cause_and_effect_two_sentences         |      0|multiple_choice_grade|0.4314|±  |0.0700|
+|bigbench_emotions                               |      0|multiple_choice_grade|0.4750|±  |0.0396|
+|bigbench_empirical_judgments                    |      0|multiple_choice_grade|0.4141|±  |0.0498|
+|bigbench_general_knowledge                      |      0|multiple_choice_grade|0.4429|±  |0.0598|
+|bigbench_hhh_alignment_harmless                 |      0|multiple_choice_grade|0.3793|±  |0.0643|
+|bigbench_hhh_alignment_helpful                  |      0|multiple_choice_grade|0.3220|±  |0.0614|
+|bigbench_hhh_alignment_honest                   |      0|multiple_choice_grade|0.3898|±  |0.0640|
+|bigbench_hhh_alignment_other                    |      0|multiple_choice_grade|0.5581|±  |0.0766|
+|bigbench_intent_recognition                     |      0|multiple_choice_grade|0.2717|±  |0.0169|
+|bigbench_misconceptions                         |      0|multiple_choice_grade|0.5373|±  |0.0432|
+|bigbench_paraphrase                             |      0|multiple_choice_grade|0.5000|±  |0.0354|
+|bigbench_sentence_ambiguity                     |      0|multiple_choice_grade|0.5333|±  |0.0649|
+|bigbench_similarities_abstraction               |      0|multiple_choice_grade|0.5921|±  |0.0567|
+
+
+
+## Team Members
+
+- Aapo Tanskanen, [Hugging Face profile](https://huggingface.co/aapot), [LinkedIn profile](https://www.linkedin.com/in/aapotanskanen/)
+- Rasmus Toivanen, [Hugging Face profile](https://huggingface.co/RASMUS), [LinkedIn profile](https://www.linkedin.com/in/rasmustoivanen/)
+
+Feel free to contact us for more details 🤗

config.json

@@ -0,0 +1,39 @@
+{
+    "_name_or_path": "model_merged_v0.2_option2",
+    "architectures": [
+        "LlamaForCausalLM"
+    ],
+    "attention_bias": false,
+    "attention_dropout": 0.0,
+    "bos_token_id": 1,
+    "eos_token_id": 64260,
+    "hidden_act": "silu",
+    "hidden_size": 4096,
+    "initializer_range": 0.02,
+    "intermediate_size": 11008,
+    "max_position_embeddings": 2048,
+    "model_type": "llama",
+    "num_attention_heads": 32,
+    "num_hidden_layers": 32,
+    "num_key_value_heads": 32,
+    "pretraining_tp": 1,
+    "rms_norm_eps": 1e-06,
+    "rope_scaling": null,
+    "rope_theta": 10000.0,
+    "tie_word_embeddings": false,
+    "torch_dtype": "float16",
+    "transformers_version": "4.37.1",
+    "use_cache": true,
+    "vocab_size": 64262,
+    "quantization_config": {
+        "quant_method": "exl2",
+        "version": "0.0.16",
+        "bits": 4.0,
+        "head_bits": 6,
+        "calibration": {
+            "rows": 100,
+            "length": 2048,
+            "dataset": "(default)"
+        }
+    }
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "transformers_version": "4.37.1"
+}

output.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e6878949cb84a7c215d00c357994429248986eaf9dccfefecd6a1c1610526e12
+size 3973772368

special_tokens_map.json

@@ -0,0 +1,30 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|loppu|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<PAD>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,87 @@
+{
+  "add_bos_token": true,
+  "add_eos_token": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64256": {
+      "content": "<|alku|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "64257": {
+      "content": "<PAD>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64258": {
+      "content": "<|ihminen|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "64259": {
+      "content": "<|avustaja|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "64260": {
+      "content": "<|loppu|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64261": {
+      "content": "\n",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|loppu|>",
+  "model_max_length": 2048,
+  "pad_token": "<PAD>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": "<unk>",
+  "use_default_system_prompt": false
+}