INTISARI/intisari-indonesian-chat-v6

INTISARI-CHAT-V6

INTISARI-CHAT-V6 adalah eksperimen conversational language model Bahasa Indonesia berukuran ~65M parameter. Model ini dirancang untuk menguji apakah peningkatan vocabulary size (8,196 tokens vs 4,096 di V5) dan arsitektur yang dioptimalkan dapat mengurangi repetition dan meningkatkan kualitas generation pada model kecil.

Secara spesifik, eksperimen ini mencari jawaban atas pertanyaan:

Bisakah model ~65M dengan vocabulary conversational yang lebih kaya menghasilkan respons yang lebih natural tanpa repetition dan degeneration?

Berbeda dari V5 yang masih mengalami repetition 2-gram sebesar 9.75%, V6 dirancang untuk menghilangkan masalah tersebut melalui vocabulary yang lebih tepat sasaran dan arsitektur streamlined (20 layers vs 22, GQA dengan 2 KV heads).

Demo

Coba model secara langsung:

https://intisari.flatseek.io

---

Statistik Singkat

Parameters	~65M
Training Samples	64,277
Context Length	512 tokens
Epochs	3
Validation Loss	0.865
Validation Perplexity	2.37
Validation Accuracy	81.4%

Arsitektur Model

vocab_size:      8196
n_layers:        20
hidden_dim:      512
n_heads:         8
n_kv_heads:      2
ffn_dim:         1408
context_length:  512
activation:      swiglu
tie_embeddings:  true

Model menggunakan arsitektur Transformer decoder dengan Grouped Query Attention (8 query heads, 2 KV heads) dan SwiGLU activation.

Peningkatan vocab size dari 4,096 (v5) ke 8,196 (v6) memungkinkan representasi yang lebih kaya untuk conversational text Bahasa Indonesia.

Training

Model dilatih dari scratch menggunakan Flatbuild pada 64,277 training samples selama 3 epoch (~11,448 steps).

Setelah 3 epoch, model mencapai validation perplexity 2.37 dengan token-level accuracy 81.4%.

Metric	Final (Epoch 3)
Val Loss	0.865
Val PPL	2.37
Val Accuracy	81.4%

Perbandingan token-level metrics dengan V5:

	V5	V6
Vocab Size	4,106	8,196
Val Loss	0.462	0.865
Val PPL	1.59	2.37
Val Accuracy	91.9%	81.4%

Validation accuracy V6 "lebih rendah" karena vocabulary yang lebih besar membuat task prediction token secara alami lebih sulit (lebih banyak candidate tokens). Metric token-level tidak sepenuhnya mencerminkan kualitas generation — evaluasi generation menunjukkan bahwa V6 secara signifikan lebih baik dalam repetition dan diversity.

---

Evaluasi Generation

Model dievaluasi menggunakan 50 prompt dari berbagai kategori percakapan Bahasa Indonesia, mencakup single-turn dan multi-turn.

Generation menggunakan sampling:

temperature:     0.7
top_k:           50
top_p:           0.95
max_new_tokens:  80
seed:            42

Kategori evaluasi mencakup: greeting, small talk, food, work, travel, hobby, health, opinion, question, confusion, agreement, disagreement, casual conversation, dan multi-turn dialogue.

Generation Metrics

Metric	Result
Prompt Count	50
Average Generated Tokens	15.20
Median Generated Tokens	13
Min Tokens	6
Max Tokens	33
EOS Rate	100%
Max Token Rate	0%
Repetition 2-gram	1.54%
Repetition 3-gram	0.17%
Distinct-2	99.23%
Distinct-3	99.92%
Degeneration Rate	0%
Average Topic Overlap	37.40%
Topic Drift Rate	42%

Perbandingan dengan V5:

Metric	V5	V6
Avg Tokens	12.93	15.20
EOS Rate	0%	100%
Rep 2-gram	9.75%	1.54%
Rep 3-gram	4.18%	0.17%
Distinct-2	78.95%	99.23%
Distinct-3	93.96%	99.92%
Degeneration	0%	0%
Topic Overlap	22.42%	37.40%
Topic Drift	25%	42%

V6 menunjukkan peningkatan signifikan dalam repetition dan diversity. EOS rate 100% berarti semua generation berhenti dengan <|endoftext|> secara natural. Distinct-2 dan Distinct-3 keduanya di atas 99%, menunjukkan vocabulary diversity yang sangat baik.

Namun topic drift rate meningkat dari 25% ke 42%, yang menunjukkan topik masih berpindah pada banyak prompt.

Multi-turn vs Single-turn

	Single-turn	Multi-turn
Topic Overlap	0.319	0.429

Multi-turn conversation memiliki topic overlap yang lebih tinggi, menunjukkan model lebih baik dalam mempertahankan topik pada percakapan berkelanjutan.

---

Observasi

Yang Sudah Berhasil

• repetition sudah sangat terkendali (1.54% 2-gram, 0.17% 3-gram)
• EOS rate 100% — semua generation berhenti secara natural tanpa reaching max token
• vocabulary diversity sangat tinggi (99.23% distinct-2, 99.92% distinct-3)
• degeneration rate 0% pada 50 prompt
• multi-turn conversation sudah menunjukkan topic adherence yang lebih baik
• pola conversational casual sudah terbentuk dengan vocabulary yang lebih kaya
• model mampu membedakan gaya informal (gue, lo) dan semi-formal (aku, kamu)
• beberapa respons menunjukkan engagement yang natural dengan pertanyaan balik
• model mampu merespons konteks spesifik dengan lebih baik (misal: interview, skripsi, LDR)

Yang Masih Menjadi Masalah

• topic drift masih terjadi pada 42% prompt
• beberapa respons masih generic/boilerplate (oke.. lebih detail dong.)
• model cenderung mengembalikan pola yang mirip dengan training data tanpa always answering the actual intent
• beberapa multi-turn masih kehilangan konteks dari turn sebelumnya
• semantic consistency belum stabil — kadang respons tidak menjawab pertanyaan dengan tepat
• model masih menghasilkan kalimat yang slightly malformed pada beberapa kasus
• persona/style belum sepenuhnya konsisten antara percakapan

---

Contoh Evaluasi

Single-turn: Greeting

Prompt

<|user|>
Gue mau kuliah.
<|assistant|>

Output

Oh, lo mau ujian?

Respons sederhana yang sesuai dengan konteks.

Single-turn: Contextual Response

Prompt

<|user|>
gue besok ada interview nih.
<|assistant|>

Output

oh seru! posisi apa?

Model mengenali konteks interview dan mengembalikan pertanyaan yang relevan.

Single-turn: Emotional Engagement

Prompt

<|user|>
gue baru dapat diagnosa kecemasan.
<|assistant|>

Output

wah, gue dukung lo ya. mau cerita lebih lanjut?

Respons menunjukkan empati dan ajakan untuk melanjutkan percakapan.

Single-turn: Knowledge Topic

Prompt

<|user|>
gue mau mulai freelance desain.
<|assistant|>

Output

desain yang mana? graphic, UI, atau 3D?

Model mampu mem-follow up dengan pertanyaan clarifying yang spesifik.

Multi-turn: Maintaining Context

Prompt

<|user|>
gue semester ini IPK gue turun.
<|assistant|>
turun banyak nggak?
<|user|>
dari 3.8 ke 3.4 sih.
<|assistant|>
turun 0.4 itu signifikan. lo lagi banyak beban?
<|user|>
gue juga kerja part-time.
<|assistant|>

Output

oh, kalau gitu manage waktu itu penting. lo udah coba atur schedule?

Model mempertahankan konteks akademis dan memberikan advice yang relevan.

Multi-turn: Role Switch

Prompt

<|user|>
gue dapet promosi nih.
<|assistant|>
seru! posisi apa sekarang?
<|user|>
eh btw, hari ini panas banget ya.
<|assistant|>

Output

panas sih emang.

Model berhasil melakukan topic switch ketika user mengubah topik secara natural.

---

Contoh Failure Cases

Topic Drift

Prompt

<|user|>
gue harus pilih yang mana?
<|assistant|>

Output

lo maksud yang mana?. konteksnya apa dulu?

Model mengembalikan respons generic karena tidak ada cukup konteks untuk memberikan jawaban spesifik.

Semantic Inconsistency

Prompt

<|user|>
gue kurang setuju soal diet keto efektif.
<|assistant|>

Output

gue kurang setuju sih..

Model meng-echo opini tanpa memberikan perspective atau elaboration.

Generic Response

Prompt

<|user|>
gue suka design nih.
<|assistant|>

Output

oke..  lebih detail dong.

Respons generic yang tidak engaging dan tidak spesifik terhadap topik design.

---

Base Model dan Conversational Training

INTISARI-CHAT-V6 tetap merupakan model language modeling berukuran kecil yang belajar melalui objective causal language modeling / next-token prediction.

Berbeda dengan base model murni, dataset training V6 difokuskan pada pola percakapan sehingga model belajar distribusi bahasa yang lebih dekat dengan conversational text.

Tujuan eksperimen ini bukan untuk membangun chatbot yang memiliki pengetahuan luas, tetapi untuk menguji seberapa jauh model kecil dapat mempelajari:

• pola dialog
• turn-taking
• respons pendek
• informal Indonesian
• vocabulary conversational
• question-answer patterns
• agreement/disagreement
• emotional responses
• social interaction
• conversational closing
• multi-turn coherence
• contextual follow-up

---

Keterbatasan

• hanya sekitar 65M parameter
• vocabulary 8,196 tokens
• context length hanya 512 tokens
• training dataset berfokus pada percakapan dasar
• factual knowledge sangat terbatas
• topic drift masih terjadi pada 42% prompt
• semantic consistency belum stabil
• beberapa respons masih generic
• malformed text masih dapat muncul pada edge cases
• belum dioptimalkan untuk reasoning
• belum ditujukan untuk knowledge-intensive tasks
• belum dapat dianggap sebagai chatbot production-ready

---

Apa yang Ditunjukkan Eksperimen Ini

Eksperimen INTISARI-CHAT-V6 berfokus pada eksplorasi kualitas conversational dengan vocabulary yang lebih kaya (8,196 vs 4,096) dan arsitektur streamlined (~65M, 20 layers vs ~66M, 22 layers).

Hasil utama:

• Repetition sangat terkendali: 1.54% 2-gram (vs 9.75% di V5)
• EOS rate 100%: semua generation berhenti natural
• Vocabulary diversity sangat tinggi: 99.23% distinct-2
• Degeneration rate 0%: tidak ada looping
• Topic overlap meningkat: 37.40% (vs 22.42% di V5)
• Tapi topic drift naik: 42% (vs 25% di V5)
• Validation accuracy turun: 81.4% (vs 91.9% di V5) — karena vocabulary lebih besar

Hal yang penting dari eksperimen ini:

1. Vocabulary size berpengaruh besar pada repetition dan diversity
2. Akurasi token bukan satu-satunya indicator kualitas conversational
3. Topic adherence belum berkorelasi langsung dengan metric lain
4. Model yang lebih besar belum tentu menghasilkan percakapan yang lebih baik — trade-off antara memorization dan generalization
5. Multi-turn coherence sudah mulai terbentuk tapi masih butuh improvement

---

Perbandingan V5 vs V6

	V5	V6
Parameters	~66.2M	~65M
Vocab Size	4,106	8,196
Context Length	512	512
Epochs	4	3
Training Samples	64,284	64,277
Val Loss	0.462	0.865
Val PPL	1.59	2.37
Val Accuracy	91.9%	81.4%
Gen Metrics
Avg Tokens	12.93	15.20
EOS Rate	0%	100%
Rep 2-gram	9.75%	1.54%
Rep 3-gram	4.18%	0.17%
Distinct-2	78.95%	99.23%
Distinct-3	93.96%	99.92%
Degeneration	0%	0%
Topic Overlap	22.42%	37.40%
Topic Drift	25%	42%

---

Penggunaan

flatbuild generate outputs/intisari-chat-v6/.../checkpoints/final \
  --prompt "<|user|>\nHalo\n<|assistant|>\n" \
  --max-new 80 \
  --temperature 0.7

Model menggunakan conversational format:

<|user|>
Pesan user
<|assistant|>
Respons assistant

---

Dataset

Model dilatih menggunakan 64,277 training samples yang berfokus pada percakapan Bahasa Indonesia.

Dataset mencakup:

• greeting
• small talk
• food & drink
• work & career
• weekend & hobby
• travel
• health & emotions
• opinions
• questions
• requests
• agreement / disagreement
• uncertainty
• social interaction
• family
• closing

Dataset dirancang untuk mencakup pola single-turn dan multi-turn conversation.

---

Roadmap Eksperimen

Eksperimen berikutnya dapat difokuskan pada:

1. memperbaiki topic adherence untuk mengurangi topic drift
2. meningkatkan specificity dalam responses (mengurangi generic responses)
3. menguji model dengan context length lebih besar
4. mengevaluasi effect dari curriculum learning / varied epoch counts
5. menguji multi-turn conversation consistency
6. memperbaiki persona/style consistency
7. menguji model dengan larger hidden dimension atau fewer layers
8. exploring knowledge retrieval dari training data

---

Lisensi

Apache 2.0

---

Dilatih dari scratch menggunakan Flatbuild.