README.md

metadata

license: apache-2.0
language:
  - en
  - ja
  - zh

使用ehartford/based與JosephusCheung/GuanacoDataset等數據集微調

目前只有0.4B的rwkv-world模型

有合併lora的權重

未合併的lora權重

loss值=5

在1.39gb的多數據集混和的數據集上微調