aaaaaaaieuyd/Small-LLM1

Small LLM1

재미로 만든 약 5M(4.98M) 파라미터짜리 초소형 언어 모델입니다.

⚠️ 재미로 만든 모델이라 성능은 낮습니다. 실제 용도로 쓰기에는 부족하고, 짧은 영어 동화 문장을 이어 쓰는 정도만 할 수 있습니다.

⚠️ 파인튜닝(instruction tuning / chat tuning)은 하지 않았습니다. 사전학습만 한 base 모델이라 질문에 답하거나 대화하지 못하고, 주어진 문장을 이어서 쓰기만 합니다.

모델 정보

항목	값
구조	Llama 스타일 decoder-only Transformer (처음부터 학습)
파라미터	4.98M
레이어 / hidden / heads	6 / 256 / 8
FFN 크기	512
어휘 크기	4,096 (직접 학습한 byte-level BPE)
컨텍스트 길이	256 토큰
학습 데이터	TinyStories 앞부분 약 40만 개 이야기 (약 92M 토큰)
학습	6,000 step × 64 × 256 토큰, RTX 5070 1장에서 약 4분
검증 loss	1.77 (perplexity 약 5.9, TinyStories 검증 구간)

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("aaaaaaaieuyd/Small-LLM1")
tok = AutoTokenizer.from_pretrained("aaaaaaaieuyd/Small-LLM1")

x = tok("Once upon a time", return_tensors="pt")
out = model.generate(**x, max_new_tokens=80, do_sample=True, temperature=0.8, top_k=40)
print(tok.decode(out[0], skip_special_tokens=True))

출력 예시:

Once upon a time, there was a little girl named Lily. She had a little tooth that was very important to her. The tooth was her special tooth, and she could always count on it to show it to her friends.

한계

• 영어 동화체 문장만 학습해서 한국어나 다른 주제는 거의 못 다룹니다.
• 사실 정보, 추론, 코드 같은 건 기대하면 안 됩니다.
• 앞뒤가 안 맞는 이야기를 자주 만듭니다.
• 파인튜닝을 하지 않아서 지시를 따르지 못합니다.

---

English: Small LLM1 is a ~5M-parameter toy language model trained from scratch on TinyStories, just for fun. Performance is low, and it is a base model with no fine-tuning (no instruction or chat tuning). It can only continue short, simple English stories.