File size: 2,264 Bytes
0872539
 
9d7a1a0
ab306d5
0872539
 
a37f188
0872539
d1d7e9d
9d7a1a0
5c1fedf
bfb4221
d1d7e9d
 
 
9636025
9d7a1a0
a37f188
33e5150
0872539
 
 
 
4491776
0872539
 
 
 
 
 
 
 
 
7addb2c
7393bc6
0872539
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7393bc6
3f7e864
7393bc6
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
---
license: apache-2.0
datasets: teknium/OpenHermes-2.5
base_model: AI-Sweden-Models/Llama-3-8B
---

# Checkpoint 1

## Training setup

The training was perfomed on the [LUMI supercomputer](https://lumi-supercomputer.eu/) within the [DeployAI EU project](https://www.ai.se/en/project/deployai). 
Based of the base model [AI-Sweden-Models/Llama-3-8B](https://huggingface.co/AI-Sweden-Models/Llama-3-8B).

## Dataset

A translated version of the [teknium/OpenHermes-2.5](https://huggingface.co/datasets/teknium/OpenHermes-2.5) corpus. The translation was carried out by [42 Labs](https://huggingface.co/four-two-labs).

## How to use

```python
import transformers
import torch

model_id = "AI-Sweden-Models/Llama-3-8B-instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "Du är en hjälpsam assistant som svarar klokt och vänligt."},
    {"role": "user", "content": "Hur gör man pannkakor? Och vad behöver man handla? Undrar också vad 5+6 är.."},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])
```
```python
>>> "För att göra pannkakor behöver du följande ingredienser:
- 1 kopp vetemjöl
- 1 tesked bakpulver
- 1/4 tesked salt
- 1 kopp mjölk
- 1 stort ägg
- 2 matskedar smält smör eller olja

För att börja, blanda vetemjölet, bakpulvret och saltet i en bunke. I en annan skål, vispa ihop mjölken, ägget och smöret eller oljan. 
Tillsätt de våta ingredienserna till de torra ingredienserna och blanda tills det är väl blandat. 
Låt smeten vila i cirka 10 minuter.

För att göra pannkakorna, värm en non-stick-panna eller stekpanna över medelvärme. 
När den är varm, häll smeten på pannan och grädda tills kanterna börjar torka ut och toppen är fast. 
Vänd pannkakan med en stekspade och grädda den andra sidan tills den är gyllenbrun. 
Upprepa med resten av smeten.

När det gäller 5+6 är svaret 11."
```