Update README.md
Browse files
README.md
CHANGED
@@ -81,6 +81,8 @@ rt.save_pretrained("./my_roberta_tokenizer")
|
|
81 |
#### 1.
|
82 |
|
83 |
```python
|
|
|
|
|
84 |
tokenizer = AutoTokenizer.from_pretrained("Bingsu/BBPE_tokenizer_test")
|
85 |
|
86 |
# tokenizer는 RobertaTokenizerFast 클래스가 됩니다.
|
|
|
81 |
#### 1.
|
82 |
|
83 |
```python
|
84 |
+
from transformers import AutoTokenizer
|
85 |
+
|
86 |
tokenizer = AutoTokenizer.from_pretrained("Bingsu/BBPE_tokenizer_test")
|
87 |
|
88 |
# tokenizer는 RobertaTokenizerFast 클래스가 됩니다.
|