meldakahramann/animasyon-lora-adapter

Uploaded finetuned model

• Developed by: meldakahramann
• License: apache-2.0
• Finetuned from model : unsloth/llama-3-8b-Instruct-bnb-4bit

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

Llama-3 8B Turkish Animation Fine-Tuned Model

Bu model, Llama-3-8B-Instruct mimarisi temel alınarak Türkçe animasyon filmleri (olay örgüleri, karakterler, Türkçe seslendirme kadroları ve teknik detaylar) üzerine Unsloth ve LoRA (Low-Rank Adaptation) teknikleri kullanılarak ince ayar (fine-tuning) yapılmış versiyonudur.

Model, yanıt vermeden önce iç ses mantığı yürüten bir Reasoning / Thinking (<|im_start|>thinking) şablonuyla hizalanmıştır.

---

Öne Çıkan Özellikler

• Domain Adaptasyonu: Türkiye'de vizyona girmiş popüler animasyon filmlerinin (Ratatuy, Buz Devri vb.) doğru olay örgüleri ve Türkçe dublaj kadrosu bilgileri kazandırılmıştır.
• Akıl Yürütme: Model yanıt üretmeden önce kullanıcı talebini analiz eden ve ne yapacağını planlayan bir iç ses sürecini (<|im_start|>thinking ... <|im_end|>) çalıştırır.
• Halüsinasyon Engelleme: Derinleştirilmiş 250 adımlık eğitim sayesinde uydurma veri üretimi minimuma indirilmiştir.

---

Kullanım

Modeli transformers ve unsloth veya doğrudan Hugging Face kütüphaneleri ile kolayca çalıştırabilirsiniz:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "meldakahramann/animasyon-lora-adapter"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Örnek Prompt Yapısı
prompt = "<|im_start|>user\nRatatuy animasyonu neyi anlatıyor, hikayesi nasıl?<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.2,
    top_p=0.9,
    eos_token_id=tokenizer.convert_tokens_to_ids("<|im_end|>")
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))

Örnek Çıktı

<|im_start|>thinking Ratatuy animasyonunun olay örgüsü istendi. Hafızamdaki özet metne sadık kalarak net ve anlaşılır bir anlatım sunmalıyım.. <|im_end|> Remy, koku ve tat alma duyuları olağanüstü derecede gelişmiş, zekası ve yaratıcılığı olan dışlanmış bir faredir. Auguste Gusteau'nun 'Herkes yemek yapabilir' felsefesine inanan Remy, Paris'te sakar çöpçü Linguini ile işbirliği yapar. Linguini'nin aşçı şapkasının altına saklanarak onun hareketlerini yönlendirir ve gurme yemekler hazırlar...

Eğitim Parametreleri

Model, kısıtlı kaynaklarla maksimum performans elde etmek amacıyla PEFT (LoRA) ve Unsloth kütüphaneleri kullanılarak eğitilmiştir. Detaylı konfigürasyon aşağıda yer almaktadır:

Parametre / Konfigürasyon	Değer
Base Model	unsloth/llama-3-8b-Instruct-bnb-4bit
Eğitim Yöntemi (Method)	LoRA (PEFT) + SFTTrainer
Maks. Dizi Uzunluğu (Max Seq Length)	2048
Eğitim Adım Sayısı (Max Steps)	250
Öğrenme Oranı (Learning Rate)	2e-4
Batch Size	2 (Gradient Accumulation Steps: 4 → Effective Batch Size: 8)
Eniyileştirici (Optimizer)	AdamW 8-bit
Eklenen Özel Token'lar	`<
Donanım (Hardware)	Google Colab T4 GPU (16 GB VRAM)

---

Konfigürasyon Notları

• Özel Token Entegrasyonu: Modelin akıl yürütme ve sohbet formatına uyum sağlaması için <|im_start|>, <|im_end|> ve thinking etiketleri özel token olarak eklenmiş ve kelime gömme katmanı yeniden boyutlandırılmıştır.
• Hafıza Optimizasyonu: QLoRA (4-bit quantization) ve AdamW 8-bit optimizer kullanılarak T4 GPU üzerindeki VRAM kullanımı minimum seviyede tutulmuştur.

---

Türkçe MMLU Benchmark Değerlendirme & Karşılaştırma Raporu

Bu model kartı, fine-tune edilmiş modelimizin Türkçe MMLU (Massive Multitask Language Understanding) benchmark testindeki performansını, türetildiği taban model ve farklı bir mimariye sahip açık kaynaklı bir model ile karşılaştırmalı olarak sunmaktadır.

Değerlendirme Metodolojisi

• Benchmark Veri Seti: alibayram/yapay_zeka_turkce_mmlu_model_cevaplari (6,200 Soru)
• Değerlendirme Yöntemi: Zero-shot prompting & Anlamsal Benzerlik (paraphrase-multilingual-mpnet-base-v2) destekli yanıt doğrulama
• Donanım / Yapılandırma: BitsAndBytes 4-bit NF4 Kuantizasyonu

---

Karşılaştırmalı Sonuçlar Tablosu

Model Türü	Model Reposu / Adı	Toplam Soru	Doğru Cevap	Başarı Oranı (Accuracy)	Değerlendirme Süresi	Soru Başına Ort. Süre
Fine-Tuned Model (Bizim Modelimiz)	meldakahramann/animasyon-lora-adapter	6200	1261	%20.34	2797.9 sn (~46.6 dk)	~0.45 sn
Base Model	unsloth/llama-3-8b-bnb-4bit	6200	1244	%20.06	2700.9 sn (~45.0 dk)	~0.43 sn
Karşılaştırma Modeli (3. Model)	unsloth/Qwen2.5-7B-Instruct-bnb-4bit	6200	1179	%19.01	2168.3 sn (~36.1 dk)	~0.35 sn

---

Detaylı Analiz ve Değerlendirmeler

1. Fine-Tuning Başarısı (Doğruluk Oranı)

• Fine-tune ettiğimiz modelimiz, 1261 doğru yanıt (%20.34 başarı oranı) elde ederek test edilen modeller arasında en yüksek doğruluğa ulaşmıştır.
• Modelimiz, türetildiği Base Llama-3-8B modeline kıyasla 17 soru daha fazla doğru yanıtlayarak başarısını %20.06'dan %20.34'e yükseltmiştir. Bu durum yapılan ince ayar (fine-tuning) sürecinin Türkçe anlama ve yanıt verme kapasitesine olumlu katkı sağladığını kanıtlamaktadır.

2. Çıkarım (Inference) Hızı ve Performans

• Dengeli Çıkarım: Fine-tuned modelimiz (2797.9 sn) ile Base model (2700.9 sn) benzer çıkarım süreleri sergilemiştir. Her iki model de soru başına ortalama ~0.43-0.45 saniye yanıt süresiyle stabil bir performans göstermiştir.
• Hız Farkı (Qwen 2.5): Qwen2.5-7B-Instruct modeli 2168.3 saniye (~36.1 dakika) ile en hızlı çıkarımı gerçekleştirmiş olsa da doğruluk oranında (%19.01) Llama-3 tabanlı modellerin gerisinde kalmıştır.

3. Genel Değerlendirme

• Uygulanan fine-tuning işlemi, modelin doğruluk performansını artırırken hız tarafında belirgin bir maliyet/yavaşlama yaratmamıştır.
• Llama-3 mimarisi üzerine inşa edilen modelimiz, Türkçe MMLU testinde hem base versiyonuna hem de Qwen 2.5 alternatifine karşı doğruluk açısından üstünlük sağlamıştır.