hululuzhu/chinese-couplet-gemma-lora-test-v0.1

Finetune Google Gemma model for Chinese Poem writing

Important! Gemma-IT format

GEMMA_IT_FORMAT = """<start_of_turn>user
{user_question}<end_of_turn>
<start_of_turn>model
"""

Before finetune using Gemma-it-7b

Before training
春风得意花铺路
春风得意花铺路，春暖花开，美不胜
美丽中国魅力北京
**美丽中国魅力北京，令人惊叹的现代与传统
鱼书千里梦
鱼书千里梦，是一个关于爱慕和成长的小说
日落晚霞临古寺
夕暮暮色，日落缓缓西下，将天空渲染成 Varies

After finetune (undertrained, after 10mins using T4 GPU, undertrained)

春风得意花铺路
秋雨流派诗作韵<eos>
美丽中国魅力北京
和谐社会和谐社会<eos>
鱼书千里梦
鸟歌百载歌<eos>
日落晚霞临古寺
月明清风送客船<eos>

Code to trigger this Lora ckpt (to be added)