kareem2808/Qwen2.5-3B-ADHD-Linear

Qwen2.5-3B ADHD Assistant (Linear Scheduler)

Model ini merupakan adaptor LoRA hasil fine-tuning dari unsloth/Qwen2.5-3B-Instruct-bnb-4bit menggunakan Unsloth dan TRL. Model diselaraskan (aligned) khusus untuk bertindak sebagai asisten pendamping bagi individu neurodivergen, dengan fokus mitigasi pada gejala ADHD.

🧠 Profil Perilaku & Target Persona

• Intervensi Utama: Dirancang untuk membantu pengguna mengelola Executive Dysfunction, Task Paralysis, dan Cognitive Overwhelm.
• Karakteristik UX: Berfungsi sebagai bantalan emosi (Emotional Cushion). Model cenderung menggunakan pola kalimat universal psikologi suportif non-direktif untuk menenangkan pengguna.

📊 Audit Pelatihan & Eksperimen

Adaptor ini dilatih menggunakan Linear Learning Rate Scheduler sepanjang 800 global steps (~1.31 Epoch).

• Dataset: 4.896 baris obrolan berbasis skema ChatML Bahasa Indonesia[cite: 1].
• Konfigurasi Konteks: max_seq_length = 1024 token (Distribusi aktual puncak data berada di 719 token)[cite: 1].
• Durasi Komputasi: 1 Jam 44 Menit pada GPU Nvidia T4[cite: 1].

Metrik Evaluasi Akhir

• Final Training Loss: 1.208400[cite: 1]
• Final Validation Loss: 1.385049 (Unggul tipis pada generalisasi akhir)[cite: 1]
• Generalization Gap: 0.176649 (Sangat sehat di bawah ambang batas 0.20)[cite: 1]

⚙️ Hyperparameters

• per_device_train_batch_size: 2[cite: 1]
• gradient_accumulation_steps: 4 (Ukuran Batch Efektif = 8)[cite: 1]
• learning_rate: 2e-4[cite: 1]
• weight_decay: 0.01[cite: 1]
• optim: adamw_8bit[cite: 1]
• seed: 3407[cite: 1]

🚀 Cara Penggunaan Lokal (Inference unsloth)

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "kareem2808/Qwen2.5-3B-ADHD-Linear",
    max_seq_length = 1024,
    load_in_4bit = True,
)
FastLanguageModel.for_inference(model)