Commit
•
c5280bb
1
Parent(s):
f3226d8
Update README.md
Browse files
README.md
CHANGED
@@ -2,7 +2,7 @@
|
|
2 |
license: apache-2.0
|
3 |
---
|
4 |
RWKV-4-World的Hugface格式,因新版World的tokenizer较之前Raven\Pile版本有较大变化,因而需要进行新版HF适配
|
5 |
-
ringrwkv兼容了原生rwkv库和transformers的rwkv库,同时新添入World
|
6 |
Forward RWKVOutput时的细微问题,主要是引入和明确last_hidden_state。以下是轻量级使用代码,比较方便:<br>
|
7 |
|
8 |
import torch<br>
|
|
|
2 |
license: apache-2.0
|
3 |
---
|
4 |
RWKV-4-World的Hugface格式,因新版World的tokenizer较之前Raven\Pile版本有较大变化,因而需要进行新版HF适配
|
5 |
+
ringrwkv兼容了原生rwkv库和transformers的rwkv库,同时新添入World版本的配置及代码(支持1.5B,3B,7B全系列),并修复了原HF的RWKV在
|
6 |
Forward RWKVOutput时的细微问题,主要是引入和明确last_hidden_state。以下是轻量级使用代码,比较方便:<br>
|
7 |
|
8 |
import torch<br>
|