kompactss/JeBERT_je_ko

🍊 제주 방언 번역 모델 🍊

• 제주어 -> 표준어
• Made by. 구름 자연어처리 과정 3기 3조!!
• github link : https://github.com/Goormnlpteam3/JeBERT

1. Seq2Seq Transformer Model

• encoder : BertConfig
• decoder : BertConfig
• Tokenizer : WordPiece Tokenizer

2. Dataset

• Jit Dataset
• AI HUB(+아래아 문자)

3. Hyper Parameters

• Epoch : 10 epochs(best at 8 epoch)
• Random Seed : 42
• Learning Rate : 5e-5
• Warm up Ratio : 0.1
• Batch Size : 32

4. BLEU Score

• Jit + AI HUB(+아래아 문자) Dataset : 79.0

---

CREDIT

• 주형준 : wngudwns2798@gmail.com
• 강가람 : 1st9aram@gmail.com
• 고광연 : rhfprl11@gmail.com
• 김수연 : s01090445778@gmail.com
• 이원경 : hjtwin2@gmail.com
• 조성은 : eun102476@gmail.com