Update README.md

README.md

@@ -1,3 +1,48 @@
 ---
+datasets:
+- mc4
 license: apache-2.0
 ---
+
+# ByT5-Korean - small
+
+ByT5-Korean is a Korean specific extension of Google's [ByT5](https://github.com/google-research/byt5).
+
+A Korean syllable has three components (called Jamo): a beginning consonant, a middle vowel, and an optional final consonant; they are like individual characters of alphabet.
+While the ByT5's utf-8 encoding allows generic encoding for multiple languages, it is unnatural for Korean because it splits the bits representation of each Jamo in the middle.
+
+ByT5-Korean extends ByT5's utf-8 encoding with special care for Korean syllables; each Jamo is represented with a extra token.
+ByT5-Korean was pre-trained on [mC4](https://www.tensorflow.org/datasets/catalog/c4#c4multilingual) with 70% Korean and 30% English.
+
+## Encoding Scheme
+```text
+id: token
+0: <pad>
+1: <eos>
+2: <unk>
+3~258: utf-8 encoding
+259~277: beginning consonants(초성), 19개(ㄱㄲㄴㄷㄸㄹㅁㅂㅃㅅㅆㅇㅈㅉㅊㅋㅌㅍㅎ)
+278~298: middle vowel(중성), 21개(ㅏㅐㅑㅒㅓㅔㅕㅖㅗㅘㅙㅚㅛㅜㅝㅞㅟㅠㅡㅢㅣ)
+299~326: final consonant(종성), 무종성+27개(ㄱㄲㄳㄴㄵㄶㄷㄹㄺㄻㄼㄽㄾㄿㅀㅁㅂㅄㅅㅆㅇㅈㅊㅋㅌㅍㅎ)
+327~384: from <extra_id_0> to <extra_id_57>
+```
+
+## Example Inference
+
+```python
+import torch
+from tokenizer import ByT5KoreanTokenizer # https://huggingface.co/everdoubling/byt5-Korean-small/blob/main/tokenizer.py
+from transformers import T5ForConditionalGeneration
+
+tokenizer_jamo = ByT5KoreanTokenizer()
+model = T5ForConditionalGeneration.from_pretrained('everdoubling/byt5-Korean-small')
+
+input_sentence = '한국어 위키백과(영어: Korean Wikipedia)는 한국어로 운영되는 위키백과의 다언어판 가운데 하나로서, 2002년 10월 11일에 <extra_id_0>. 또한 현재 한국어 위키백과에는 넘겨주기, 토론, 그림 등 페이지로 불리는 모든 문서를 포함하면 총 2,629,860개가 <extra_id_1>되어 있으며, 넘겨주기를 포함한 일반 문서 수는 1,278,560개,[1] 그중 넘겨주기, 막다른 문서를 제외한 일반 문서 수는 573,149개이다.'
+
+input_ids_jamo = tokenizer_jamo(input_sentence).input_ids
+outputs_jamo = model_jamo.generate(torch.tensor([input_ids_jamo]))
+print(tokenizer_jamo.decode(outputs_jamo[0]))
+# <pad><extra_id_0>설립되었다<extra_id_1>đě
+```
+
+Additional information coming soon...