INTISARI/intisari-indonesian-base-v1

INTISARI-BASE-V1

INTISARI-BASE-V1 adalah LLM - LARGE LANGUAGE MODEL BAHASA INDONESIA berukuran sangat kecil yang dilatih dari awal menggunakan causal language modeling / next-token prediction. Model ini dirancang untuk mempelajari pola bahasa, struktur kalimat, kosakata, dan text continuation dalam Bahasa Indonesia.

Demo

Coba model secara langsung:

https://intisari.flatseek.io

---

Statistik Singkat

Parameters	~10.1M
Training Samples	100
Context Length	512 tokens
Epochs	10
Validation Loss	0.584
Validation Perplexity	1.79
Validation Accuracy	90.6%

Arsitektur Model

vocab_size:     8196
n_layers:        10
n_heads:         8
hidden_dim:      256
ffn_dim:         768
context_length:   512
activation:      SwiGLU
normalization:   RMSNorm

Model ini menggunakan arsitektur Transformer decoder standar dengan ~10M parameter. Ukuran yang sangat kecil ini dipilih untuk eksperimen dasar pada tiny language model.

Training

Model dilatih dari awal menggunakan Flatbuild. Training terdiri dari 10 epoch dengan ~10K samples. Validation metrics terus membaik hingga epoch terakhir.

Epoch	Val Loss	PPL	Accuracy
1	3.408	30.21	41.4%
2	2.522	12.46	53.5%
3	1.953	7.05	63.3%
4	1.558	4.75	70.8%
5	1.250	3.49	76.8%
6	1.010	2.74	81.9%
7	0.838	2.31	85.5%
8	0.710	2.03	88.2%
9	0.632	1.88	89.7%
10	0.584	1.79	90.6%

Evaluasi Generation

Model diuji dengan 100 prompt menggunakan greedy decoding (temperature=0, max_new_tokens=80).

Chart ini menampilkan topic adherence, distribusi panjang generation, dan vocabulary diversity.

Chart ini menampilkan repetition rate per n-gram dan degeneration rate.

Observasi

Yang Sudah Berhasil

• continuation Bahasa Indonesia yang dapat dikenali
• pola kalimat umum mulai terlihat
• asosiasi topik dasar terbentuk
• local coherence mulai tampak

Yang Masih Menjadi Masalah

• repetition dan looping (23% degeneration rate)
• topic drift (91%)
• semantic inconsistency
• factual errors
• malformed/nonsensical phrases
• long-range coherence masih lemah

Base Model

INTISARI-BASE-V1 dilatih menggunakan causal language modeling / next-token prediction. Model tidak dilatih untuk mengikuti instruksi atau melakukan percakapan. Karena itu, output seperti text continuation yang aneh, topic drift, atau factual error merupakan keterbatasan yang perlu diperhatikan.

Model ini dapat menjadi foundation untuk eksperimen berikutnya seperti instruction tuning atau conversational fine-tuning.

Keterbatasan

• hanya ~10M parameter
• dataset relatif kecil (9,962 samples)
• coverage pengetahuan sangat terbatas
• repetition dan looping masih terjadi (23%)
• topic drift cukup tinggi
• factual errors ditemukan
• coherence masih terbatas
• belum instruction-tuned

Apa yang Ditunjukkan Eksperimen Ini

Eksperimen ini menjawab pertanyaan: "Seberapa jauh model yang sangat kecil dapat mempelajari struktur Bahasa Indonesia dari dataset yang sangat kecil?"

Hasil menunjukkan:

• validation loss mencapai 0.584
• perplexity mencapai 1.79
• accuracy mencapai 90.6%
• model sudah menghasilkan continuation Bahasa Indonesia yang dapat dikenali
• tetapi generation quality belum setara dengan model yang lebih besar
• token-level metrics tidak sama dengan kualitas generasi

Eksperimen berikutnya sebaiknya lebih dahulu meningkatkan:

1. kualitas dataset
2. diversity dataset
3. deduplication
4. semantic consistency
5. generation stability
6. long-range coherence

Penggunaan

flatbuild generate outputs/intisari-base-v1/.../checkpoints/final \
  --prompt "Indonesia merupakan" \
  --max-new 80 \
  --temperature 0.8

Contoh Generation

Model diuji dengan 100 prompt dari berbagai kategori.

Geography

Prompt

Indonesia merupakan

Output

Indonesia merupakan salah satu bentuk seni rupa tradisional asal Sunda. Lukisan ini biasa digunakan untuk menghiasi, serta memiliki peran penting dalam mengembangkan kemampuan untuk mengembangkan kemampuan untuk menggambarkan keadaan keamanan dan keamanan masyarakat. Dalam konteks Indonesia, sawah ini dapat hidup dan jadi, serta keadaan kebaktisan dan kebaktisan masyarakat. Dengan demikian, museum ini dapat dibedakan menjadi beberapa tingkat, salah satu adalah tingkat dasar, tingkat menengah, dan tingkat tinggi.  ke wilayah-

History

Prompt

Pada tahun 1945

Output

Pada tahun 1945, Indonesia berhasil memenangkan medali emas pada kabur mereka berikan. Mereka mengadakan berbagai jenis, seperti Portugis, soto, dan lain-lain. Dengan demikian, mereka lebih dekat dengan dunia sekitar daerah-daerah di Nusantara, seperti Bali, Lombok, dan lain-lain. Dengan demikian, Nusantara telah menjadi simbol budaya, kebudayaan yang dapat menikmati kekuasaan paling besar di Nusantara. Dengan demikian, kebudayaan Nusantara memiliki pengaruh besar terhadap

Science

Prompt

Energi terbarukan

Output

Energi terbarukan adalah salah satu cara untuk meningkatkan efisiensi keuangan, meningkatkan keuangan, dan meningkatkan kualitas hidup masyarakat. Tapi, apa itu mengumpulkan keuntungan, yaitu keuntungan tidak dapat menghemat biaya, karena kekurangan sumber daya. Saya juga dapat dengan lebih efisien, terutama dengan menggunakan fintech dengan lebih efisien. Saya juga harus lebih fleksibel, lebih mudah, dan memiliki kelemahan keuangan. Kedua, kita harus memiliki kelemahan. Kita harus lebih fleksibel, yaitu kekurangan

Technology

Prompt

Teknologi merupakan

Output

Teknologi merupakan salah satu bentuk investasi utama polusi di Indonesia. Dengan cara ini, UMKM dapat meningkatkan kualitas hidup masyarakat dengan menjadikan kebutuhan sehari-hari, seperti beras, jagung, dan lain-lain. Namun, keuntungan juga memiliki kelemahan, seperti kelemahan keuangan, kekurangan keamanan, dan kelemahan dalam menghadapi kekurangan. Oleh karena itu, perlu diingat bahwa keuntungan yang menjadi keuntungan bagi masyarakat, seperti risiko keuangan yang tidak memiliki kelemahan keuangan, seperti

Economy

Prompt

Ekonomi Indonesia

Output

Ekonomi Indonesia telah membantu banyak orang untuk menghemat waktu dan meningkatkan kualitas keuangan, terutama mereka yang memiliki kelemahan waktu atau keuangan yang terbatas. Dengan e-commerce, seseorang dapat belajar kapan saja, mengakses informasi, dan mengakses informasi keuangan dengan mudah. Tidak hanya itu, e-commerce juga dapat membantu kita untuk meningkatkan kualitas hidup seseorang. Kita harus lebih mudah, kita harus lebih mudah dan lebih efisien. Tidak ada lagi menggunakan e-

Lisensi

Apache 2.0

---

Dilatih dari scratch menggunakan Flatbuild