|
--- |
|
datasets: |
|
- HuggingFaceFW/fineweb |
|
- erhwenkuo/c4-chinese-zhtw |
|
- erhwenkuo/wikipedia-zhtw |
|
- p208p2002/wudao |
|
- p208p2002/NDLTD-T10-90-111 |
|
- codeparrot/github-code-clean |
|
language: |
|
- en |
|
- zh |
|
license: llama3 |
|
--- |
|
# Llama 3 zhtw |
|
|
|
在 Llama 3 上試驗中文 Continue Pretraining (CP)，共計訓練 800M tokens。 |
|
|
|
由於中文預訓練語料品質還有改進空間，CP 後表現未能超越原版 Llama 3，我們比較幾個開源社群訓練的中文 Llama 3 也有類似狀況。 |
|
|
|
在英文方面 LLaMA 3 zhtw 使用 FineWeb，使得 MMLU 表現高於其他中文CP模型，能力與原版 LLaMA 3 持平。 |
|
|
|
## Benchmarks |
|
| Models | | ↑ TMMLU+ (ACC) | CMMLU (ACC) | MMLU (ACC) | |
|
| ---------------------------- | --- | -------------- | ------------- | ------------- | |
|
| | | TC, Knowledge | CN, Knowledge | EN, Knowledge | |
|
| | | 5 shot | 5 shot | 5 shot | |
|
| Yi-6B | 6B | 49.63 | 75.53 | 65.35 | |
|
| Qwen-7B | 7B | 42.84 | 73.1 | 61.00 | |
|
| Meta-Llama-3-8B | 8B | 41.97 | 50.8 | 65.17 | |
|
| **p208p2002/llama-3-zhtw-8B** | 8B | 41.84 | 50.6 | 65.31 | |
|
| Breeze-7B-Base-v0_1 | 7B | 40.35 | 44.05 | 61.63 | |
|
| hfl/llama-3-chinese-8b | 8B | 39.64 | 50.9 | 61.1 | |
|
|
|
## Recipe |
|
|
|
### Datasets |
|
| Dataset | Lang | Weight | |
|
|----------------|-------------|--------| |
|
| FineWeb | en | 0.35 | |
|
| Wudao | zh-cn | 0.1 | |
|
| C4Tw | zh-tw | 0.1 | |
|
| WikiZhTw | zh-tw | 0.15 | |
|
| NdltdT10 | zh-tw | 0.1 | |
|
| GitHubMarkDown | code | 0.1 | |
|
| GitHubPython | code | 0.1 | |
|
|
|
### Hyper Parameters |
|
|
|
- Learning Rate: 1e-7 |
|
- Global Batch Size: 60 |
|
- Sequence Length: 8192 |
