Egertekin/marvel-lora-adapter

Marvel Domain - Llama 3 LoRA Adaptörü

Model Özeti

Bu model, Llama-3 (8B) taban modeline entegre edilmek üzere eğitilmiş özel bir LoRA adaptörüdür.

Büyük dil modellerinin spesifik bir alanda nasıl uzmanlaştırılabileceğini göstermek amacıyla akademik bir proje kapsamında geliştirilmiştir. Model, Marvel evreni, çizgi roman tarihçesi ve karakter kökenleri hakkında Türkçe dilinde fine-tuning işleminden geçmiştir.

Eğitim Detayları

• Taban Model: unsloth/llama-3-8b-bnb-4bit
• Eğitim Yöntemi: LoRA
• Kullanılan Kütüphaneler: unsloth, trl, peft, transformers
• LoRA Parametreleri: r=16, lora_alpha=16, lora_dropout=0
• Eğitim Adımı: 60 Adım
• Donanım: Google Colab (T4 GPU)

Eğitim Verisi

Model, web scraping ve veri çoğaltma (data augmentation) yöntemleriyle sıfırdan oluşturulan Egertekin/marvel-domain-dataset kullanılarak eğitilmiştir. Eğitim sırasında standart Alpaca Instruction/Output şablonu kullanılmıştır.

Kullanım

Bu LoRA adaptörünü Unsloth veya standart Hugging Face peft kütüphanesi ile ana modele (Llama-3) entegre ederek doğrudan çalıştırabilirsiniz.

Unsloth ile Kullanım Örneği:

from unsloth import FastLanguageModel

# Taban model ve geliştirdiğimiz LoRA adaptörünün birlikte yüklenmesi
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Egertekin/marvel-lora-adapter",
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

# Modeli çıkarım (inference) moduna alma
FastLanguageModel.for_inference(model)

alpaca_prompt = """Aşağıdaki bir görevi veya soruyu tanımlayan talimattır. Talebi uygun şekilde tamamlayan bir yanıt yazın.

### Talimat:
Wolverine'in iskeleti hangi metalden yapılmıştır?

### Yanıt:
"""

# Soruyu modele iletme ve yanıt üretme
inputs = tokenizer([alpaca_prompt], return_tensors = "pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens = 64, use_cache = True)
print(tokenizer.batch_decode(outputs))



------------------------------------------------------------

## MMLU Benchmark Karşılaştırması

Modelimizin bilgi işleme ve çoklu görev kavrama yeteneğini ölçmek amacıyla, Türkçe MMLU benchmark testi uygulanmıştır. Test sonuçları, uygulanan LoRA Fine-Tuning işleminin modelde "catastrophic forgetting" yol açmadığını ve modelin genel başarı oranını baz modele göre yukarı taşıdığını bilimsel olarak kanıtlamaktadır.

| Model / Versiyon | Test Edilen Model Adı | Türkçe MMLU Genel Skoru (Accuracy) |
| :--- | :--- | :---: |
| **Base Model (Eğitimsiz)** | `unsloth/llama-3-8b-bnb-4bit` | % 19.82 |
| **Fine-Tuned Model (LoRA)** | `Egertekin/marvel-lora-adapter` | **% 20.82** |

*Not: Test, `alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari` veri seti ve Hugging Face `SentenceTransformer` anlamsal benzerlik metrikleri kullanılarak Google Colab (T4 GPU) ortamında tüm sorular üzerinden çalıştırılmıştır.*