yejin-korean-tokenizer-200k

200,000 단어 규모의 한국어 특화 Byte-Level BPE 토크나이저.

17GB 규모의 한국어 코퍼스(위키백과, 교과서, 뉴스, 문학, 전문지식 등)로 처음부터 직접 학습하여 제작하였으며, 한국어 텍스트의 압축 효율을 극대화하였다.

사양

항목	값
어휘 크기 (Vocab Size)	200,000
알고리즘	Byte-Level BPE
학습 코퍼스	한국어 통합 코퍼스 (16.2 GB)
최소 빈도 (min_frequency)	2
최대 시퀀스 길이	8,192
특수 토큰	<s> (BOS), </s> (EOS), <unk> (UNK), <pad> (PAD)
학습 소요 시간	0.43 시간 (CPU)

학습 코퍼스 구성

• CulturaX 한국어 (60GB 웹 정제 코퍼스)
• 한국어 위키백과 2024
• 한국어 교과서 6종 (claude_evol, tiny, instructions, wikidata, mmlu_all, code_alpaca)
• KoAlpaca 지시문
• 기타 한국어 텍스트

사용법

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("cooler8/yejin-korean-tokenizer-200k")

text = "인공지능과 거대언어모델의 미래는 우리의 미래이다."
tokens = tokenizer.encode(text)
print(f"토큰 수: {len(tokens)}")
print(f"토큰: {tokenizer.convert_ids_to_tokens(tokens)}")

decoded = tokenizer.decode(tokens)
print(f"복원: {decoded}")

다른 yejin 토크나이저와의 비교

토크나이저	어휘 크기	용도
yejin-korean-tokenizer-64k	64,000	3B 모델 학습에 사용
yejin-korean-tokenizer-200k (본 모델)	200,000	8B 이상 대형 모델 권장

주요 참고 사항

• 어휘 크기 200K는 Llama 3 (128K), Qwen 2.5 (152K)보다 크며, 한국어 텍스트의 토큰 압축률이 높아 학습 및 추론 효율이 우수하다.
• Embedding 레이어 파라미터가 커지므로 8B 이상 모델에서 사용을 권장한다. 3B 이하 모델에서는 64K 토크나이저가 더 효율적이다.
• Apache 2.0 라이선스로 상업적 사용이 자유롭다.

라이선스

Apache License 2.0