hululuzhu commited on
Commit
fc887db
1 Parent(s): 92ada15

Update README.md

Browse files

Update gemma-it prompt and format

Files changed (1) hide show
  1. README.md +26 -23
README.md CHANGED
@@ -3,37 +3,40 @@
3
  ---
4
  # Finetune Google Gemma model for Chinese Poem writing
5
 
6
- ## Before finetune using Gemma-it-7b
7
 
8
  ```
9
- Before training
10
- 上联:春风得意花铺路
11
- 下联:花香满鼻,春暖
12
-
13
- 上联:美丽中国魅力北京
14
- 下联:中国传统建筑风格
15
-
16
- 上联:鱼书千里梦
17
- 下联:笑口在笑。
18
-
19
- 对联:日落晚霞临古寺
20
- 下联:花香满院,迎风
21
  ```
22
 
23
- ## After finetune (undertrained, fater 20mins using T4 GPU)
24
 
25
  ```
26
- 上联:春风得意花铺路
27
- 下联:秋雨飘落叶落落
28
-
29
- 上联:美丽中国魅力北京
30
- 下联:和谐世界和谐中国
 
 
 
 
 
31
 
32
- 上联:鱼书千里梦
33
- 下联:鸟传万里风
34
 
35
- 对联:日落晚霞临古寺
36
- 下联:风吹柳绿映新村
 
 
 
 
 
 
 
37
  ```
38
 
39
  ## Code to trigger this Lora ckpt (to be added)
 
3
  ---
4
  # Finetune Google Gemma model for Chinese Poem writing
5
 
6
+ ## Important! Gemma-IT format
7
 
8
  ```
9
+ GEMMA_IT_FORMAT = """<start_of_turn>user
10
+ {user_question}<end_of_turn>
11
+ <start_of_turn>model
12
+ """
 
 
 
 
 
 
 
 
13
  ```
14
 
15
+ ## Before finetune using Gemma-it-7b
16
 
17
  ```
18
+ Before training
19
+ 春风得意花铺路
20
+ 春风得意花铺路,春暖花开,美不胜
21
+ 美丽中国魅力北京
22
+ **美丽中国魅力北京,令人惊叹的现代与传统
23
+ 鱼书千里梦
24
+ 鱼书千里梦,是一个关于爱慕和成长的小说
25
+ 日落晚霞临古寺
26
+ 夕暮暮色,日落缓缓西下,将天空渲染成 Varies
27
+ ```
28
 
29
+ ## After finetune (undertrained, after 10mins using T4 GPU, undertrained)
 
30
 
31
+ ```
32
+ 春风得意花铺路
33
+ 秋雨流派诗作韵<eos>
34
+ 美丽中国魅力北京
35
+ 和谐社会和谐社会<eos>
36
+ 鱼书千里梦
37
+ 鸟歌百载歌<eos>
38
+ 日落晚霞临古寺
39
+ 月明清风送客船<eos>
40
  ```
41
 
42
  ## Code to trigger this Lora ckpt (to be added)