Instructions to use cooler8/yejin-korean-tokenizer-64k with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use cooler8/yejin-korean-tokenizer-64k with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="cooler8/yejin-korean-tokenizer-64k")

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("cooler8/yejin-korean-tokenizer-64k", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use cooler8/yejin-korean-tokenizer-64k with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "cooler8/yejin-korean-tokenizer-64k"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "cooler8/yejin-korean-tokenizer-64k",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/cooler8/yejin-korean-tokenizer-64k

SGLang

How to use cooler8/yejin-korean-tokenizer-64k with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "cooler8/yejin-korean-tokenizer-64k" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "cooler8/yejin-korean-tokenizer-64k",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "cooler8/yejin-korean-tokenizer-64k" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "cooler8/yejin-korean-tokenizer-64k",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use cooler8/yejin-korean-tokenizer-64k with Docker Model Runner:
```
docker model run hf.co/cooler8/yejin-korean-tokenizer-64k
```

yejin-korean-tokenizer-64k

한국어에 최적화된 64K Byte-Level BPE 토크나이저입니다.

특징

Vocab 크기: 64,000 토큰
알고리즘: Byte-Level BPE (Llama/GPT 스타일)
유니코드 정규화: NFC (한국어 자모 결합 보장)
특수 토큰: BOS, EOS, PAD, UNK + 채팅 토큰 (system/user/assistant)
학습 소요: 23.6분 (CPU)
학습 데이터: 총 5,958,043개 텍스트

polyglot-ko (30K) 대비 개선

기존 polyglot-ko 토크나이저(30K vocab) 대비 한국어 토큰 효율이 크게 개선되었습니다. Vocab 크기가 2배 이상이므로 같은 문장을 더 적은 토큰으로 표현할 수 있어, 동일한 컨텍스트 길이에서 더 많은 정보를 처리할 수 있습니다.

사용법

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("cooler8/yejin-korean-tokenizer-64k")

text = "인공지능과 거대언어모델의 미래는 밝습니다."
tokens = tokenizer.encode(text)
print(f"토큰 수: {len(tokens)}")
print(f"토큰: {tokenizer.convert_ids_to_tokens(tokens)}")

학습 데이터

총 5,958,043개 텍스트로 학습되었습니다.

AIHub 데이터 (정부 공공 데이터)

카테고리	텍스트 수
01_논문_학술	500,042
02_도서_말뭉치	500,003
03_전문분야	509,076
04_웹_뉴스	501,738
05_법률_행정	500,000
06_의료_건강	500,000
07_교육_지식	214,238

오픈소스 한국어 데이터

소스	텍스트 수
cosmopedia_stories_science	200,000
culturax_korean	200,000
ko_alpaca_instructions	21,149
ko_alpaca_v1.1a	21,149
ko_orca	34,163
korean_textbooks_claude_evol	200,000
korean_textbooks_code_alpaca	64,006
korean_textbooks_instructions	200,000
korean_textbooks_mmlu_all	97,697
korean_textbooks_tiny	200,000
korean_textbooks_wikidata	127,470
korean_webtext	200,000
magpie_reasoning_150k	148,703
math_instruct	200,000
mc4_korean	200,000
namuwiki	200,000
open_ko_instructions	200,000
python_code_instructions_18k	18,609
wikipedia_korean_2024	200,000

데이터 도메인

📰 뉴스/웹 텍스트 (mc4, culturax, webtext)
📚 도서/문서 (대규모 도서 말뭉치)
🔬 학술/논문 (바이오의료 논문, 기술과학)
⚖️ 법률/행정 (법률, 특허, 국회회의록)
🏥 의료/건강 (헬스케어 QA)
💻 코드/수학 (코드 추론, 수학 추론)
📖 백과사전 (나무위키)
🎓 교육 (대학 강의, 지식그래프)
💬 대화/QA (민원 상담, 일상 대화)

라이선스

Apache-2.0

제작

프로젝트: yejin-korean LLM
제작 환경: KT Cloud H200 서버 (CPU 전용)
날짜: 2026-08-29

Downloads last month: -; Downloads are not tracked for this model. How to track