Toivo0/gemma-3-finetune

Gemma-3 1B — Türkçe İstatistik Asistanı (Fine-tuned)

Bu model, Google Gemma-3 1B (instruction-tuned) taban modelinin, Türkçe istatistik eğitimi odaklı soru-cevap verisiyle Unsloth ve TRL SFTTrainer kullanılarak ince ayar (fine-tune) yapılmış halidir. Model, betimsel ve çıkarımsal istatistik konularında kavramsal açıklama, yorumlama ve yaygın istatistiksel yanılgıları (tuzak sorular) tespit etme konusunda Türkçe yanıt üretmek üzere eğitilmiştir.

• Geliştiren: Toivo0
• Lisans: Apache 2.0
• Taban model: unsloth/gemma-3-1b-it-unsloth-bnb-4bit
• Dil: Türkçe (tr)
• Eğitim verisi: Toivo0/Turkce-istatistik-reasoning

⚠️ Not: Taban model Google Gemma-3 ailesine ait olduğu için, bu depoda paylaşılan ağırlıkların kullanımı, bu README'de belirtilen Apache 2.0 lisansına ek olarak, Google'ın Gemma Kullanım Şartları'na da tabidir. Ticari veya üretim amaçlı kullanım öncesinde ilgili şartları incelemeniz önerilir.

Model Açıklaması

Model, kullanıcıdan gelen istatistik sorularına Gemma-3 sohbet şablonu (<start_of_turn>user ... <end_of_turn><start_of_turn>model ... <end_of_turn>) formatında, doğrudan ve yapılandırılmış (başlıklar, madde işaretleri, örnekler içeren) yanıtlar üretecek şekilde eğitilmiştir. Eğitim verisindeki her örnek, bir soru-cevap çiftinin yanında model geliştirme sürecinde kullanılan bir "thinking" (akıl yürütme) alanı da içeriyordu; ancak son eğitimde modele yalnızca nihai, temizlenmiş cevap metni öğretilmiştir — çıktılarda ayrı bir <think> etiketi bulunmaz, model doğrudan sonuç cevabını üretir.

Kapsanan Konular

Eğitim verisi 7 modül altında toplanmış, aşağıdaki istatistik konularını kapsayan 400 soru-cevap çiftinden oluşur:

Modül	Genel Konu Alanı
1	İstatistiğe giriş, betimsel vs. çıkarımsal istatistik, anakütle/örneklem
2	Merkezi eğilim ve yayılım ölçüleri
3	Olasılık ve dağılımlar
4	Hipotez testleri
5	Güven aralıkları
6	Korelasyon ve ilişki analizleri
7	Regresyon analizi ve ileri konular

Sorular üç kategoriye ayrılır:

• Kavramsal (%47) — temel tanım ve kavram soruları
• Yorumlama (%32) — verilen bir senaryonun/sonucun yorumlanmasını gerektiren sorular
• Tuzak/Yanılgı (%21) — istatistikte sık yapılan yanlış çıkarımları test eden, dikkat gerektiren sorular

Kullanım Amacı ve Sınırlamalar

Uygun kullanım alanları:

• Türkçe istatistik eğitimi alan öğrenciler için kavram açıklama ve pekiştirme asistanı
• Betimsel/çıkarımsal istatistik, hipotez testi, regresyon gibi konularda örnek destekli açıklamalar

Bilinmesi gereken sınırlamalar:

• Model yalnızca 1 milyar parametre büyüklüğünde bir taban modele dayanır; büyük modellere kıyasla akıl yürütme derinliği ve genel bilgi kapasitesi sınırlıdır.
• İnce ayar verisi yalnızca 400 örnek içerir. Bu, dar bir konu/format için stil ve derinlik kazandırmaya yeterli olsa da, eğitim verisinde bulunmayan istatistik konularında (örn. Bayesyen istatistik, zaman serileri) model taban modelin genel bilgisine geri döner ve tutarlılığı garanti edilmez.
• Model resmi bir benchmark veya kıyaslama testinden geçirilmemiştir. Performans değerlendirmesi henüz niteliksel (örnek çıktı incelemesi) düzeydedir; sayısal bir doğruluk/başarı metriği paylaşılmamaktadır.
• Her dil modelinde olduğu gibi, model yanlış veya yanıltıcı istatistiksel bilgi üretebilir (halüsinasyon). Kritik/akademik kullanımlarda çıktıların bir uzman tarafından doğrulanması önerilir.

Eğitim Detayları

Eğitim Verisi

• Kaynak: Toivo0/Turkce-istatistik-reasoning
• Örnek sayısı: 400 soru-cevap çifti
• Format: Her örnek tek turluk (single-turn) user/model sohbet çifti olarak Gemma-3 chat template'ine dönüştürülmüştür.

Eğitim Prosedürü

Eğitim, Unsloth kütüphanesi ile 4-bit quantized taban model üzerinde LoRA (parametre-etkin ince ayar) yöntemiyle, Hugging Face TRL kütüphanesinin SFTTrainer'ı kullanılarak gerçekleştirilmiştir.

Hiperparametreler:

Parametre	Değer
Efektif batch size	8 (per_device_train_batch_size=2 × gradient_accumulation_steps=4)
Epoch sayısı	3
Öğrenme oranı (learning rate)	2e-4
LR scheduler	linear
Warmup steps	5
Optimizer	adamw_8bit
Weight decay	0.001
Seed	3407

Toplam eğitim adımı: 150 (400 örnek × 3 epoch ÷ efektif batch 8).

Donanım

Eğitim, Unsloth'un sağladığı bellek-etkin (memory-efficient) 4-bit eğitim altyapısı ile tek GPU üzerinde gerçekleştirilmiştir.

Depo İçeriği ve Kullanım

Bu depoda iki farklı model artefaktı bulunmaktadır:

• adapter_model.safetensors — Yalnızca eğitilen LoRA katmanlarını içerir (küçük dosya boyutu). Kullanmak için taban modeli (unsloth/gemma-3-1b-it-unsloth-bnb-4bit) ayrıca yüklemeniz gerekir.
• model.safetensors — Taban model ile LoRA katmanlarının birleştirilmiş (merged), 16-bit (bfloat16) tam hassasiyetli hali (~2GB). Tek başına yüklenebilir, taban modele veya peft kütüphanesine ayrıca ihtiyaç duymaz.

Bu depoda GGUF formatında bir dosya bulunmamaktadır. Ollama veya llama.cpp gibi araçlarla kullanmak isterseniz, model.safetensors üzerinden kendi GGUF dönüşümünüzü yapmanız gerekir (Unsloth'un save_pretrained_gguf fonksiyonu ile mümkündür).

Unsloth ile Kullanım (önerilen)

from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "Toivo0/gemma-3-finetune",
    max_seq_length = 2048,
    load_in_4bit = False,  # Depodaki model.safetensors zaten 16-bit; True yaparsanız yükleme sırasında ayrıca 4-bit'e kırpılır (daha az VRAM, hafif kalite kaybı)
)
FastModel.for_inference(model)  # 2x daha hızlı çıkarım

messages = [
    {"role": "user", "content": "Merkezi limit teoremi nedir ve neden istatistikte bu kadar önemlidir?"},
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt = True,
    return_tensors = "pt",
).to(model.device)

outputs = model.generate(input_ids = inputs, max_new_tokens = 512, temperature = 0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens = True))

🤗 Transformers ile Kullanım

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Toivo0/gemma-3-finetune"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype = torch.bfloat16,
    device_map = "auto",
)

messages = [
    {"role": "user", "content": "Merkezi limit teoremi nedir ve neden istatistikte bu kadar önemlidir?"},
]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt = True, return_tensors = "pt"
).to(model.device)

outputs = model.generate(inputs, max_new_tokens = 512, temperature = 0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens = True))

Eğer yukarıdaki kod model.safetensors yerine yalnızca adapter_model.safetensors bulursa, önce taban modeli yükleyip ardından peft kütüphanesi ile adapter'ı üzerine eklemeniz gerekir:

from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("unsloth/gemma-3-1b-it-unsloth-bnb-4bit", ...)
model = PeftModel.from_pretrained(base_model, "Toivo0/gemma-3-finetune")

Örnek Girdi Formatı

Model aşağıdaki gibi düz metin sohbet formatıyla eğitilmiştir:

<bos><start_of_turn>user
{soru}<end_of_turn>
<start_of_turn>model
{cevap}<end_of_turn>

En iyi sonuçlar için tokenizer.apply_chat_template kullanarak bu formatı otomatik oluşturmanız önerilir.

Teşekkür

Bu model, Unsloth kütüphanesi kullanılarak standart eğitime göre daha hızlı ve daha az bellek ile eğitilmiştir.

@misc{unsloth,
  author       = {Unsloth AI and Han-Chen, Daniel and Han-Chen, Michael},
  title        = {Unsloth},
  year         = {2025},
  publisher    = {Github},
  howpublished = {\url{https://github.com/unslothai/unsloth}}
}