eletra (base)

한국어 사전학습 베이스 모델입니다. 직접 구현한 디코더 전용 트랜스포머를 처음부터 학습한 뒤 Hugging Face Llama 형식으로 변환했습니다. instruction/chat 튜닝을 하지 않은 base 모델이라, 대화보다는 이어쓰기(text completion)용입니다.

모델

• 파라미터 약 792M, 30 layers, hidden 1536, GQA(24 query / 6 kv heads), SwiGLU, RoPE, RMSNorm, tied embedding
• 컨텍스트 길이 2048, 어휘 32,000 (SentencePiece Unigram, byte fallback)
• LlamaForCausalLM으로 로드됩니다. bf16 safetensors.

학습

• 데이터: FineWeb-2 한국어(kor_Hang) 일부 + 한국어 위키백과(20231101.ko). 정제·중복제거 후 사용했습니다.
• 약 11.86B 토큰, 1 epoch.

사용

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("moonyean/eletra")
model = AutoModelForCausalLM.from_pretrained("moonyean/eletra")
ids = tok("대한민국의 수도는", return_tensors="pt", add_special_tokens=False)
out = model.generate(**ids, max_new_tokens=50, no_repeat_ngram_size=3)
print(tok.decode(out[0]))

변환 검증

원본 구현 대비 로짓 최대 오차 약 2e-5(fp32), top-1 일치 100%, greedy 생성 동일. 토크나이저는 SentencePiece와 거의 동일하나 동점 경로 선택(약 0.3% 문서)과 드문 결합 문자 순서에서 차이가 날 수 있습니다. 토크나이저는 개행/탭을 공백으로 처리합니다.

한계

• 소규모 base 모델이라 사실 오류와 반복이 잦습니다. 안전성 정렬이 없습니다.
• 웹 텍스트 기반이므로 편향·부적절한 내용이 포함될 수 있습니다.

라이선스와 출처

모델은 Apache-2.0으로 공개합니다. 학습 데이터는 FineWeb-2(ODC-By 1.0)와 위키백과(CC BY-SA 4.0)입니다. 위키백과의 동일조건변경허락 조건이 학습된 모델에 미치는 영향은 법적으로 확정되지 않았습니다.