kogrammar-tiny-distil

Dataset: 국립국어원 맞춤법 교정 말뭉치

Backbone Model:

• kobart-base-v2
• kogrammar-base

Contributors:

• ChangGeon Kang: NeverAsking
• Subin Park: SOL1archive

GitHub Repo:

• SOL1archive/KoGrammar

Train Method

전체 데이터셋 중 약 67.5%를 학습데이터로 활용하여 학습함.
SFT Distillation을 이용해 kogrammar-base 모델의 Decoder Layer를 6개에서 1개로 줄여 다시 학습시킴.

Metric

BLEU-2	ROUGE-2 F1
77.8 %	55.0 %