---
license: afl-3.0
---

# 🍊 제주 방언 번역 모델 🍊
  -  표준어 -> 제주어
  -  Made by. 구름 자연어처리 과정 3기 3조!!
  
## 1. Seq2Seq Transformer Model
  -  encoder :  Bert
  -  decoder :  Bert
  -  Tokenizer :  WordPiece Tokenizer
  
## 2. Dataset
  -  Jit Dataset
  -  AI HUB(+아래아 문자)_v2

## 3. Hyper Parameters
  -  Epoch :  10 epochs(best at 7 epoch)
  -  Random Seed :  42
  -  Learning Rate :  5e-5
  -  Warm up Ratio :  0.1
  -  Batch Size :  32

## 4. BLEU Score
  -  Jit + AI HUB(+아래아 문자) Dataset :  67.6