--- library_name: transformers license: apache-2.0 tags: - finnish - llama inference: true pipeline_tag: text-generation --- # Llama-7b-instruct-v0.1 for Finnish - This is an early v0.1 version release of our Instruct finetuned model from https://huggingface.co/Finnish-NLP/llama-7b-finnish - Model was trained for 2 epochs using 11014 samples and for this release we chose checkpoint at 2500/4048 steps. - Future DPO/SFT+DPO variants are in the pipeline. For finetuning we used mix of the following datasets: - LIMA from https://github.com/TurkuNLP/finnish-instructions - Dolly from https://github.com/TurkuNLP/finnish-instructions - OASST from https://github.com/TurkuNLP/finnish-instructions - Heavily filtered version of Ultrachat https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized/viewer/default/train_sft + deepl translations by writing samples to file and uploading to deepl.com to filetranslation and then parsinig the translated files back to samples ### How to use Here is an example of using this model with Unsloth with some generation arguments you can modify: ```python import torch from unsloth import FastLlamaModel max_seq_length = 2048 dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+ load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False. use_unsloth = True # use_transformers = True # LOADING MODEL USIINIG TRANSFORMERS assumes at least 16GB of memory. Tested with this configuration # If you have less memory use load_in_4bit or load_in_8_bit as needed if use_transformers: major_version, minor_version = torch.cuda.get_device_capability() model = AutoModelForCausalLM.from_pretrained("Finnish-NLP/llama-7b-finnish-instruct-v0.1", device_map='cuda:0', torch_dtype = torch.bfloat16 if major_version >=8 else torch.float16) tokenizer = AutoTokenizer.from_pretrained("Finnish-NLP/llama-7b-finnish-instruct-v0.1") # USING UNSLOTH, tested with load_in_4bit if use_unsloth: model, tokenizer = FastLlamaModel.from_pretrained( model_name = "Finnish-NLP/llama-7b-finnish-instruct-v0.1" max_seq_length = max_seq_length, dtype = dtype, load_in_4bit = load_in_4bit ) alpaca_prompt = """<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset. <|ihminen|> Kysymys/Tehtävä: {} <|avustaja|> Vastauksesi: """ sample_questions = ["Ketkä ovat Aku Ankan luona asuvat kolme ankanpoikaa?",\ "Mikä on Suomen korkein tunturi?",\ "Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?",\ "Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:",\ "Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:",\ ] from transformers import GenerationConfig generation_config = GenerationConfig( pad_token_id=tokenizer.eos_token_id, eos_token_id=tokenizer.convert_tokens_to_ids("<|loppu|>"), ) for sample_question in sample_questions: model.eval() inputs = tokenizer( [ alpaca_prompt.format( sample_question, # instruction ) ]*1, return_tensors = "pt").to("cuda") with torch.no_grad(): generated_ids = model.generate( input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"], generation_config=generation_config, **{ "temperature": 0.1, "penalty_alpha": 0.6, "top_k": 3, "do_sample": True, "repetition_penalty": 1.28, "min_length": 10, "max_new_tokens": 200 }) generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)[0] print(len(generated_ids[0])) print("KYSYMYS:") print(generated_text.split('<|avustaja|>')[0]) print("VASTAUS:") print(generated_text.split('<|avustaja|> Vastauksesi:')[1]) print('##################################') ''' --> 79 KYSYMYS: <|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Aku Ankan luona asuu kolme ankanpoikaa. He ovat nimeltään: VASTAUS: Ankkalinnan asukkaat ovat Aku Ankka, hänen vaimonsa Iines ja heidän lapsensa Tupu, Hupu ja Lupu ################################## 65 KYSYMYS: <|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Mikä on Suomen korkein tunturi? VASTAUS: Suomen korkeimmat tunturit ovat Halti (1 324 metriä) ja Saana (1 029 metriä). ################################## 80 KYSYMYS: <|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti? VASTAUS: Talvisodan aikana Neuvostoliitto hyökkäsi Suomeen 30. marraskuuta ja 13. maaliskuuta välisenä aikana. Tämä oli lyhyt sota, joka kesti 105 päivää. ################################## 87 KYSYMYS: <|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet: VASTAUS: Suomessa on monia yleisiä poikien nimiä, mutta tässä on muutamia suosittuja: 1. Eemeli 2 Onni 3 Eino 4 Väinö 5 Artturi ################################## 63 KYSYMYS: <|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo: VASTAUS: Suomen talvi on kylmä, kesä on lyhyt, mutta luonto on kaunis. ''' ``` ### Limitations and bias The training data used for this model contains a lot of content from the internet, which is far from neutral. Therefore, the model can have biased predictions. This bias will also affect all fine-tuned versions of this model. To reduce toxic content, the pretrained version of thiis model was trained with dataset filtered with a toxicity classifier but it cannot truly eliminate all toxic text. ### Finetuning Training was conducted on RTX 4080 using Unsloth framework https://github.com/unslothai/unsloth \ Training script is available in this repo. ## Evaluation results This model was evaluated using [FIN-bench by TurkuNLP](https://github.com/TurkuNLP/FIN-bench) with zero-shot setting, but \ the evaluation script had some problems running succesfully, so the results reported below should perhaps be viewed with some caution. [llama-7b-finnish-instruct-v0.1](https://huggingface.co/Finnish-NLP/llama-7b-finnish-instruct-v0.1): | Task |Version| Metric |Value | |Stderr| |------------------------------------------------|------:|---------------------|-----:|---|-----:| |bigbench_analogies | 0|multiple_choice_grade|0.5000|± |0.0440| |bigbench_arithmetic_1_digit_addition | 0|multiple_choice_grade|0.4800|± |0.0502| |bigbench_arithmetic_1_digit_division | 0|multiple_choice_grade|0.5652|± |0.1057| |bigbench_arithmetic_1_digit_multiplication | 0|multiple_choice_grade|0.5000|± |0.0503| |bigbench_arithmetic_1_digit_subtraction | 0|multiple_choice_grade|0.6700|± |0.0473| |bigbench_arithmetic_2_digit_addition | 0|multiple_choice_grade|0.4000|± |0.0492| |bigbench_arithmetic_2_digit_division | 0|multiple_choice_grade|0.5400|± |0.0501| |bigbench_arithmetic_2_digit_multiplication | 0|multiple_choice_grade|0.2700|± |0.0446| |bigbench_arithmetic_2_digit_subtraction | 0|multiple_choice_grade|0.4800|± |0.0502| |bigbench_arithmetic_3_digit_addition | 0|multiple_choice_grade|0.4100|± |0.0494| |bigbench_arithmetic_3_digit_division | 0|multiple_choice_grade|0.2800|± |0.0451| |bigbench_arithmetic_3_digit_multiplication | 0|multiple_choice_grade|0.2600|± |0.0441| |bigbench_arithmetic_3_digit_subtraction | 0|multiple_choice_grade|0.5300|± |0.0502| |bigbench_arithmetic_4_digit_addition | 0|multiple_choice_grade|0.3400|± |0.0476| |bigbench_arithmetic_4_digit_division | 0|multiple_choice_grade|0.3300|± |0.0473| |bigbench_arithmetic_4_digit_multiplication | 0|multiple_choice_grade|0.2100|± |0.0409| |bigbench_arithmetic_4_digit_subtraction | 0|multiple_choice_grade|0.6000|± |0.0492| |bigbench_arithmetic_5_digit_addition | 0|multiple_choice_grade|0.5600|± |0.0499| |bigbench_arithmetic_5_digit_division | 0|multiple_choice_grade|0.2300|± |0.0423| |bigbench_arithmetic_5_digit_multiplication | 0|multiple_choice_grade|0.2500|± |0.0435| |bigbench_arithmetic_5_digit_subtraction | 0|multiple_choice_grade|0.5600|± |0.0499| |bigbench_cause_and_effect_one_sentence | 0|multiple_choice_grade|0.4902|± |0.0707| |bigbench_cause_and_effect_one_sentence_no_prompt| 0|multiple_choice_grade|0.9020|± |0.0421| |bigbench_cause_and_effect_two_sentences | 0|multiple_choice_grade|0.3922|± |0.0690| |bigbench_emotions | 0|multiple_choice_grade|0.2313|± |0.0334| |bigbench_empirical_judgments | 0|multiple_choice_grade|0.3535|± |0.0483| |bigbench_general_knowledge | 0|multiple_choice_grade|0.3857|± |0.0586| |bigbench_hhh_alignment_harmless | 0|multiple_choice_grade|0.3966|± |0.0648| |bigbench_hhh_alignment_helpful | 0|multiple_choice_grade|0.3220|± |0.0614| |bigbench_hhh_alignment_honest | 0|multiple_choice_grade|0.3898|± |0.0640| |bigbench_hhh_alignment_other | 0|multiple_choice_grade|0.5814|± |0.0761| |bigbench_intent_recognition | 0|multiple_choice_grade|0.2211|± |0.0158| |bigbench_misconceptions | 0|multiple_choice_grade|0.5149|± |0.0433| |bigbench_paraphrase | 0|multiple_choice_grade|0.5400|± |0.0353| |bigbench_sentence_ambiguity | 0|multiple_choice_grade|0.4500|± |0.0648| |bigbench_similarities_abstraction | 0|multiple_choice_grade|0.5789|± |0.0570| ## Team Members - Aapo Tanskanen, [Hugging Face profile](https://huggingface.co/aapot), [LinkedIn profile](https://www.linkedin.com/in/aapotanskanen/) - Rasmus Toivanen, [Hugging Face profile](https://huggingface.co/RASMUS), [LinkedIn profile](https://www.linkedin.com/in/rasmustoivanen/) Feel free to contact us for more details 🤗