saiga_7b_lora / README.md
IlyaGusev's picture
Update README.md
ad08461
|
raw
history blame
1.54 kB
metadata
datasets:
  - IlyaGusev/ru_turbo_alpaca
  - IlyaGusev/ru_turbo_saiga
  - IlyaGusev/ru_sharegpt_cleaned
language:
  - ru
pipeline_tag: conversational

Colab: link

v2:

  • revision 95876e3d9854e937104f623a5fb7144ca990e8ba
  • wandb link
  • 4 datasets: ru_turbo_alpaca, ru_turbo_saiga, ru_sharegpt_cleaned, oasst1_ru_main_branch
  • Datasets merging script: create_chat_set.py
  • Loss: 0.942
  • Context length: 2000
  • Conversational template: "<s>{role}\n{content}</s>"
  • Possible roles: ["system", "user", "bot"]
  • System prompt: "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."

v1:

  • revision 1ad1cb364e3e245a7a376884111e107cfc013911
  • wandb link
  • 3 datasets: ru_turbo_alpaca, ru_turbo_saiga, ru_sharegpt_cleaned
  • Loss: 0.883
  • Context length: 2000
  • Conversational template: "<start>{role}\n{content} <end>\n"
  • Possible roles: ["system", "user", "bot"].
  • System prompt: "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."