Orbit-4-Gemma-E4B-it

Deskripsi Model

Orbit-4-Gemma-E4B-it merupakan model bahasa hasil fine-tuning dari Gemma 3n E4B-it yang dikembangkan untuk meningkatkan kemampuan pemahaman dan pengetahuan bahasa Indonesia.

Fine-tuning difokuskan pada penguatan kemampuan model dalam mengikuti instruksi berbahasa Indonesia, memahami konteks lokal, serta menghasilkan respons yang lebih natural dan relevan. Proses training menggunakan dataset instruksi bahasa Indonesia berskala besar dan mencakup satu epoch penuh tanpa sampling.

Model ini mempertahankan arsitektur multimodal dari base model Gemma 3n, sehingga secara struktur masih mendukung pemrosesan teks, gambar, audio, dan video. Namun demikian, proses fine-tuning hanya dilakukan pada lapisan teks, sehingga performa multimodal tidak diperkuat melalui training ini.

Spesifikasi Model

Item	Detail
Base model	google/gemma-3n-E4B-it
Metode fine-tuning	LoRA (r=16, alpha=16)
Epoch	1 epoch penuh (sekitar 29.807 step)
Efektif batch size	4 (batch 1 x gradient accumulation 4)
Learning rate	2e-4 (linear schedule)
Warmup	3% dari total step
Max sequence length	2048 token
Optimizer	adamw_8bit
Weight decay	0.01
LoRA dropout	0
Target modules	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Presisi merge	float32 (dilakukan di CPU)
Perangkat training	Tesla T4 16GB
Framework	Unsloth, TRL, Transformers
Format prompt	Template chat Gemma 3n
Seed	3407

Format Prompt

Model menggunakan template chat Gemma 3n sebagai berikut:

<bos><start_of_turn>user
{instruction}<end_of_turn>
<start_of_turn>model
{output}<end_of_turn>

Kemampuan Model

Model ini memiliki kemampuan sebagai berikut:

• Pemahaman instruksi berbahasa Indonesia, termasuk instruksi kompleks dan multi-langkah
• Pengetahuan umum dan konteks lokal Indonesia, mencakup sejarah, budaya, geografi, dan topik keseharian
• Generasi teks bahasa Indonesia yang natural untuk berbagai kebutuhan, seperti penjelasan, ringkasan, dan narasi
• Tugas kreatif berbahasa Indonesia, seperti penulisan puisi, pantun, dan cerita pendek
• Terjemahan antara bahasa Indonesia dan bahasa Inggris
• Analisis sentimen dan pemrosesan teks bahasa Indonesia
• Penalaran matematika dasar dan penyelesaian soal sederhana
• Kemampuan multimodal bawaan (input teks, gambar, audio, video; output teks), meskipun tidak diperkuat melalui fine-tuning ini

Batasan

• Model dioptimalkan untuk teks bahasa Indonesia, performa pada bahasa lain atau modalitas non-teks dapat menurun dibanding base model
• Model belum diuji secara menyeluruh untuk tugas multimodal dalam konteks Indonesia
• Model dapat menghasilkan halusinasi, verifikasi fakta penting tetap diperlukan
• Model belum melalui safety tuning tambahan, penggunaan pada aplikasi produksi sebaiknya disertai pengawasan
• Konteks maksimal 2048 token sesuai setting training

Kredit

• Base model: Google DeepMind (Gemma 3n)
• Framework fine-tuning: Unsloth
• Dataset: AksaraLLM
• Fine-tuning dan training: OpenPathAI

Lisensi

Model ini mengikuti lisensi Gemma dari Google. Penggunaan komersial tunduk pada Gemma Terms of Use.