timpal0l commited on
Commit
bc27f14
·
verified ·
1 Parent(s): ad12092

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -3
README.md CHANGED
@@ -15,6 +15,9 @@ tags:
15
  - ai-sweden
16
  ---
17
 
 
 
 
18
  ### Use with transformers
19
 
20
  See the snippet below for usage with Transformers:
@@ -31,14 +34,20 @@ See the snippet below for usage with Transformers:
31
  model_kwargs={"torch_dtype": torch.bfloat16},
32
  device_map="auto"
33
  )
34
- >>> pipeline("Hey how are you doing today?")
35
  ```
 
 
 
 
36
 
 
 
37
  ## Training information
38
 
39
- `AI-Sweden-Models/Llama-3-8B` is a continuation of the pretraining process from `meta-llama/Meta-Llama-3-8B`. It was trained on a subset from [The nordic pile](https://arxiv.org/abs/2303.17183) containing Swedish, Norweigian and Danish.
40
 
41
- A total of 92 A100 gpus was used, and roughly 250GB of data was used.
42
 
43
  ## Benchmarks
44
 
 
15
  - ai-sweden
16
  ---
17
 
18
+ ### Intended usage:
19
+ This is a base model, it can be finetuned to a particular use case.
20
+
21
  ### Use with transformers
22
 
23
  See the snippet below for usage with Transformers:
 
34
  model_kwargs={"torch_dtype": torch.bfloat16},
35
  device_map="auto"
36
  )
37
+ >>> pipeline("Sommar och sol är det bästa jag vet", max_length=128, repetition_penalty=1.03))
38
  ```
39
+ ```python
40
+ >>> "Sommar och sol är det bästa jag vet!
41
+ Och nu när jag har fått lite extra semester så ska jag njuta till max av allt som våren och sommaren har att erbjuda.
42
+ Jag har redan börjat med att sitta ute på min altan och ta en kopp kaffe och läsa i tidningen, det är så skönt att bara sitta där och njuta av livet.
43
 
44
+ Ikväll blir det grillat och det ser jag fram emot!"
45
+ ```
46
  ## Training information
47
 
48
+ `AI-Sweden-Models/Llama-3-8B` is a continuation of the pretraining process from `meta-llama/Meta-Llama-3-8B`. It was trained on a subset from [The Nordic Pile](https://arxiv.org/abs/2303.17183) containing Swedish, Norweigian and Danish.
49
 
50
+ A total of 92 A100 gpus was used, and roughly 250GB of data.
51
 
52
  ## Benchmarks
53