IlyaGusev commited on
Commit
0123035
1 Parent(s): 3dff86a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -5
README.md CHANGED
@@ -19,6 +19,17 @@ Colab: [link](https://colab.research.google.com/drive/18GG-zwxyGAHoVXghlOQONkxb_
19
 
20
  Training code: [link](https://github.com/IlyaGusev/rulm/tree/master/self_instruct)
21
 
 
 
 
 
 
 
 
 
 
 
 
22
  ```python
23
  from peft import PeftModel, PeftConfig
24
  from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
@@ -50,8 +61,4 @@ Examples:
50
  "Здравствуйте, матушка", - сказала Таня. "Как вы знаете, где мой мяч?"
51
  "Я знаю", - ответила старая женщина. "Я видел, как он упал в воду, и я смог его вытащить. Я думаю, что он теперь готов к игре".
52
  Таня была счастлива, что ее любимой игрушеке удалось спастись
53
- ```
54
-
55
- * Final loss: 1.074
56
- * Time: 53 hours, 53 minutes
57
- * Hardware: 1x RTX 3090
 
19
 
20
  Training code: [link](https://github.com/IlyaGusev/rulm/tree/master/self_instruct)
21
 
22
+ Versions:
23
+ - v2, April 8, 2023: A model trained with outputs capped at 800 tokens instead of 400. `revision="3dff86a20f80ba203fec6e986a3422b83822ca70"`
24
+ - Final loss: 0.995
25
+ - Time: 38 hours, 35 minutes
26
+ - Hardware: 1x RTX 3090Ti
27
+ - Wandb link: [link](https://wandb.ai/ilyagusev/rulm_self_instruct/runs/wy66bwim/overview?workspace=user-ilyagusev)
28
+ - v1, April 2, 2023: Original model trained with 400 max tokens in outputs. Both Russian and English are supported, trained on the ru_turbo_alpaca and alpaca-cleaned. `revision="97209c36c9261eb9527371a341c70f90c39ee158"`
29
+ - Final loss: 1.074
30
+ - Time: 53 hours, 53 minutes
31
+ - Hardware: 1x RTX 3090
32
+
33
  ```python
34
  from peft import PeftModel, PeftConfig
35
  from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
 
61
  "Здравствуйте, матушка", - сказала Таня. "Как вы знаете, где мой мяч?"
62
  "Я знаю", - ответила старая женщина. "Я видел, как он упал в воду, и я смог его вытащить. Я думаю, что он теперь готов к игре".
63
  Таня была счастлива, что ее любимой игрушеке удалось спастись
64
+ ```