README.md

metadata

license: apache-2.0
language:
  - zh
  - en

对llama-3-8B-base 使用wudao200G语料做中文全参预训练

github https://github.com/cooper12121/llama3-Chinese

• 20G表示用20G语料训练得到的checkpoint