Update README.md
Browse files
README.md
CHANGED
@@ -15,6 +15,9 @@ tags:
|
|
15 |
- ai-sweden
|
16 |
---
|
17 |
|
|
|
|
|
|
|
18 |
### Use with transformers
|
19 |
|
20 |
See the snippet below for usage with Transformers:
|
@@ -31,14 +34,20 @@ See the snippet below for usage with Transformers:
|
|
31 |
model_kwargs={"torch_dtype": torch.bfloat16},
|
32 |
device_map="auto"
|
33 |
)
|
34 |
-
>>> pipeline("
|
35 |
```
|
|
|
|
|
|
|
|
|
36 |
|
|
|
|
|
37 |
## Training information
|
38 |
|
39 |
-
`AI-Sweden-Models/Llama-3-8B` is a continuation of the pretraining process from `meta-llama/Meta-Llama-3-8B`. It was trained on a subset from [The
|
40 |
|
41 |
-
A total of 92 A100 gpus was used, and roughly 250GB of data
|
42 |
|
43 |
## Benchmarks
|
44 |
|
|
|
15 |
- ai-sweden
|
16 |
---
|
17 |
|
18 |
+
### Intended usage:
|
19 |
+
This is a base model, it can be finetuned to a particular use case.
|
20 |
+
|
21 |
### Use with transformers
|
22 |
|
23 |
See the snippet below for usage with Transformers:
|
|
|
34 |
model_kwargs={"torch_dtype": torch.bfloat16},
|
35 |
device_map="auto"
|
36 |
)
|
37 |
+
>>> pipeline("Sommar och sol är det bästa jag vet", max_length=128, repetition_penalty=1.03))
|
38 |
```
|
39 |
+
```python
|
40 |
+
>>> "Sommar och sol är det bästa jag vet!
|
41 |
+
Och nu när jag har fått lite extra semester så ska jag njuta till max av allt som våren och sommaren har att erbjuda.
|
42 |
+
Jag har redan börjat med att sitta ute på min altan och ta en kopp kaffe och läsa i tidningen, det är så skönt att bara sitta där och njuta av livet.
|
43 |
|
44 |
+
Ikväll blir det grillat och det ser jag fram emot!"
|
45 |
+
```
|
46 |
## Training information
|
47 |
|
48 |
+
`AI-Sweden-Models/Llama-3-8B` is a continuation of the pretraining process from `meta-llama/Meta-Llama-3-8B`. It was trained on a subset from [The Nordic Pile](https://arxiv.org/abs/2303.17183) containing Swedish, Norweigian and Danish.
|
49 |
|
50 |
+
A total of 92 A100 gpus was used, and roughly 250GB of data.
|
51 |
|
52 |
## Benchmarks
|
53 |
|