SLM-ID-50M: Pra-pelatihan Model Bahasa Kecil Decoder-Only dari Nol untuk Bahasa Indonesia

Deskripsi Model

SLM-ID-50M adalah base language model (bukan chatbot) berarsitektur decoder-only bergaya Llama dengan 49,95 juta parameter. Model ini dibangun dan dilatih dari nol (bukan fine-tuning model lain) pada korpus bahasa Indonesia terbuka AksaraLLM/aksara-pretrain-id.

Model ini diposisikan sebagai fondasi (SOP) yang dapat direproduksi bagi peneliti atau pengembang yang ingin melakukan Supervised Fine-Tuning (SFT) sesuai kebutuhan spesifik masing-masing.

Spesifikasi Arsitektur

Tipe: Decoder-only Transformer (Llama-like)
Total Parameter: ~49,95 Juta
Jumlah Layer: 13
Dimensi Tersembunyi: 512
Kepala Atensi: 8 (Head dim 64)
FFN Intermediate: 1408 (SwiGLU)
Panjang Konteks: 512 token
Ukuran Kosakata: 16.000 (BPE)
Positional Encoding: RoPE (theta=10000)
Normalisasi: RMSNorm (eps=1e-5)
Weight Tying: Ya

Data Pelatihan

Dataset: AksaraLLM/aksara-pretrain-id (Wikipedia Indonesia & CulturaX)
Jumlah Dokumen: 765.815 dokumen bersih (setelah deduplikasi SHA-1)
Total Token: ~1,04 Miliar token (3 Epoch)
Perangkat Keras: 2x NVIDIA Tesla T4 (Kaggle)

Hasil Evaluasi

Validation Loss (Step 280.000): 2,9412 (Perplexity 18,94)
Akurasi Uji Minimal Pair (200 butir sintaksis): 90,0%

Ketersediaan Checkpoint

Repositori ini menyediakan dua checkpoint utama:

pretrain_step_280000.pt (Model Utama / Direkomendasikan): Checkpoint akhir Epoch 3 dengan validation loss terendah.
pretrain_step_188000.pt (Checkpoint Pendamping): Checkpoint akhir Epoch 2 dengan akurasi uji sintaksis tertinggi.

Cara Menggunakan Model

Model diimplementasikan menggunakan PyTorch murni. Silakan merujuk pada file inference_example.py di repositori ini untuk kode lengkap terkait pemuatan bobot model dan proses text generation.

Batasan (Limitations)

Sebagai base model yang belum melalui tahap Supervised Fine-Tuning (SFT), model ini tidak dirancang untuk menjawab pertanyaan layaknya chatbot. Model ini hanya bertugas melengkapi teks (next-token prediction). Model juga rentan terhadap halusinasi fakta dan memiliki batasan memori konteks hingga 512 token.

Sitasi

Jika Anda menggunakan model ini dalam penelitian, silakan sitasi:

@misc{hakim2026slmid50m,
  author = {Muflikhul Hakim},
  title = {SLM-ID-50M: Pra-pelatihan Model Bahasa Kecil Decoder-Only dari Nol untuk Bahasa Indonesia},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/hakim32/slm-id-50m}}
}

Downloads last month: -

hakim32
/

slm-id-50m