Text Generation
PEFT
Safetensors
Indonesian
English
qwen3
satri-1b
lora
dare-ties
indonesian
conversational
Instructions to use PILUSATRIO/satri-1b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use PILUSATRIO/satri-1b with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-1.7B") model = PeftModel.from_pretrained(base_model, "PILUSATRIO/satri-1b") - Notebooks
- Google Colab
- Kaggle
SATRI-1B (Generasi 1 · Arsip Resmi Qwen/Qwen3-1.7B DARE-TIES Multi-Specialist Merge)
- Nama Model:
SATRI-1B(Generasi 1 — v2.0) - Pembuat: Pilus (
PILUSATRIO/ Satri) - Model Dasar:
Qwen/Qwen3-1.7B(28 Layer, GQA 16/8, Konteks 32.768, Apache-2.0) - Generasi Penerus Terbaru:
PILUSATRIO/satri-4.0(Qwen/Qwen3-4B, 36 Layer) - Koleksi Adapter Spesialis 1.7B:
PILUSATRIO/satri-1b-adapters
Ringkasan Perkembangan
Repositori ini merupakan arsip resmi generasi pertama proyek SATRI pada skala 1,7 miliar parameter (Qwen/Qwen3-1.7B). Model ini menggabungkan 4 adapter spesialis domain (spec_A Bahasa Indonesia & Nusantara, spec_B Penalaran Matematika CoT, spec_C Coding & Web, spec_D Tool Calling) menggunakan metode DARE-TIES Merge (density=0.5).
| Gugus Evaluasi | Qwen/Qwen3-1.7B Baseline |
Kontrol Multi-Task 1.7B | SATRI-1B Final (DARE-TIES) |
|---|---|---|---|
| Set DEV (15 Soal, L1–L5) | 66,67% | 86,67% | 100,00% (15/15) |
| Set TEST (16 Soal, L1–L5) | 62,50% | 81,25% | 93,75% (15/16) |
| Konteks Panjang 32k (Needle) | 95,00% | 95,00% | 95,00% (19/20) |
Untuk versi produksi terbaru dengan arsitektur 36 layer (
Qwen/Qwen3-4B), stabilisasirsLoRA + NEFTune, kurikulum Multi-Turn Self-Repair, danSATRI-Runtimev2, gunakanPILUSATRIO/satri-4.0.
- Downloads last month
- 1