Update README.md
Browse files
README.md
CHANGED
|
@@ -1,6 +1,7 @@
|
|
| 1 |
---
|
| 2 |
license: mit
|
| 3 |
---
|
| 4 |
-
这个使用了spicy数据集，外加google翻译了30%的数据组成了新的数据集 在 (Skywork-13B-unalign-lora)[https://huggingface.co/zgce/Skywork-13B-unalign-lora]
|
| 5 |
|
| 6 |
-
整个LoRA在我的4090上用batch 1 跑了 1 epoch 耗费了33小时
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: mit
|
| 3 |
---
|
| 4 |
+
这个使用了spicy数据集，外加google翻译了30%的数据组成了新的数据集 在 (Skywork-13B-unalign-lora)[https://huggingface.co/zgce/Skywork-13B-unalign-lora] 基础上继续训练出来的，如果你在使用时发现中文回复有一股翻译腔那不是我的错是Google的问题。
|
| 5 |
|
| 6 |
+
整个LoRA在我的4090上用batch 1 跑了 1 epoch 耗费了33小时
|
| 7 |
+
由于显存有限，在训练时先用了--cutoff_len 1024 不知道会有什么影响
|