Taklaxbr/Trendyol-LLM-7b-chat-v0.1

Not: Bu modelin dokümantasyonu Türk yapay zeka topluluğuna katkı sağlamak amacıyla VeriPazarı tarafından Türkçeye çevrilmiştir. Orijinal model Trendyol tarafından geliştirilmiş olup, VeriPazarı tarafından Türk AI ekosistemi için arşivlenmiştir.

🔗 Orijinal Kaynak: Trendyol/Trendyol-LLM-7b-chat-v0.1 🔗 Derleyen Platform: VeriPazarı

Trendyol LLM (7B) Chat

Trendyol LLM, LLaMa2 7B modelini temel alan üretken (generative) bir dil modelidir. Bu depo (repository), modelin sohbet (chat) versiyonunu içermektedir.

Model Detayları

• Geliştiriciler: Trendyol
• Varyasyonlar: Base ve Chat versiyonları.
• Girdi (Input): Sadece metin.
• Çıktı (Output): Sadece metin.
• Model Mimarisi: Trendyol LLM, optimize edilmiş bir transformer mimarisi kullanan (LLaMa2 7b tabanlı) auto-regressive bir dil modelidir. Chat versiyonu, LoRA kullanılarak aşağıdaki eğitilebilir parametrelerle 180 binlik bir instruction (talimat) seti üzerinde fine-tune edilmiştir:
  • lr=1e-4
  • lora_rank=64
  • lora_alpha=128
  • lora_trainable=q_proj, v_proj, k_proj, o_proj, gate_proj, down_proj, up_proj
  • modules_to_save=embed_tokens, lm_head
  • lora_dropout=0.05
  • fp16=True
  • max_seq_length=1024

Kullanım Örnekleri

Standart Kullanım

from transformers import AutoModelForCausalLM, LlamaTokenizer, pipeline

model_id = "Trendyol/Trendyol-LLM-7b-chat-v0.1"
tokenizer = LlamaTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, 
                                             device_map='auto', 
                                             load_in_8bit=True)

sampling_params = dict(do_sample=True, temperature=0.3, top_k=50, top_p=0.9)

pipe = pipeline("text-generation", 
                model=model, 
                tokenizer=tokenizer,
                device_map="auto",
                max_new_tokens=1024, 
                return_full_text=True,
                repetition_penalty=1.1
               )

DEFAULT_SYSTEM_PROMPT = "Sen yardımcı bir asistansın ve sana verilen talimatlar doğrultusunda en iyi cevabı üretmeye çalışacaksın.\n"
TEMPLATE = (
    "[INST] <<SYS>>\n"
    "{system_prompt}\n"
    "<</SYS>>\n\n"
    "{instruction} [/INST]"
)

def generate_prompt(instruction, system_prompt=DEFAULT_SYSTEM_PROMPT):
    return TEMPLATE.format_map({'instruction': instruction,'system_prompt': system_prompt})

def generate_output(user_query, sys_prompt=DEFAULT_SYSTEM_PROMPT):
    prompt = generate_prompt(user_query, sys_prompt)
    outputs = pipe(prompt,
               **sampling_params
              )
    return outputs[0]["generated_text"].split("[/INST]")[-1]

user_query = "Türkiye'de kaç il var?"
response = generate_output(user_query)
print(response)

Chat Template ile Kullanım

pipe = pipeline("conversational", 
                model=model, 
                tokenizer=tokenizer,
                device_map="auto",
                max_new_tokens=1024,
                repetition_penalty=1.1
               )

messages = [
    {
        "role": "system",
        "content": "Sen yardımsever bir chatbotsun. Sana verilen diyalog akışına dikkat ederek diyaloğu devam ettir.",
    },
    {"role": "user", "content": "Türkiye'de kaç il var?"}
]

outputs = pipe(messages, **sampling_params)
print(outputs)

Sınırlamalar, Riskler, Önyargılar (Bias) ve Etik Değerlendirmeler

Sınırlamalar ve Bilinen Önyargılar

• Temel İşlev ve Uygulama: Trendyol LLM, auto-regressive bir dil modeli olarak öncelikle bir metin dizisindeki bir sonraki token'ı tahmin etmek üzere tasarlanmıştır. Çeşitli uygulamalar için kullanılabilmesine rağmen, kapsamlı gerçek dünya uygulama testlerinden geçmediğini belirtmek önemlidir. Farklı senaryolardaki etkinliği ve güvenilirliği büyük ölçüde doğrulanmamıştır.
• Dil Anlama ve Üretme: Model öncelikle standart İngilizce ve Türkçe dillerinde eğitilmiştir. Argo, resmi olmayan dil veya diğer dilleri anlama ve üretme performansı sınırlı olabilir; bu durum olası hatalara veya yanlış yorumlamalara yol açabilir.
• Yanlış Bilgi Üretimi (Halüsinasyon): Kullanıcılar, Trendyol LLM'in yanlış veya yanıltıcı bilgiler üretebileceğinin farkında olmalıdır. Çıktılar kesin cevaplar yerine başlangıç noktaları veya öneriler olarak değerlendirilmelidir.

Riskler ve Etik Değerlendirmeler

• Zararlı Kullanım Potansiyeli: Trendyol LLM'in saldırgan veya zararlı dil üretmek için kullanılma riski vardır. Bu tür amaçlar için kullanılmasını kesinlikle önermiyoruz ve dağıtımdan önce uygulamaya özel güvenlik ve adalet değerlendirmelerine ihtiyaç duyulduğunu vurguluyoruz.
• İstenmeyen İçerik ve Önyargı (Bias): Model, saldırgan içerik veya mevcut önyargılar açısından açıkça kontrol edilmemiş devasa bir metin derlemesi üzerinde eğitilmiştir. Sonuç olarak, istemeden de olsa bu önyargıları veya yanlışlıkları yansıtan içerikler üretebilir.
• Toksisite: Uygun eğitim verilerini seçme çabalarına rağmen, model özellikle teşvik edildiğinde (prompt edildiğinde) zararlı içerik üretebilir. Açık kaynak topluluğunu, bu tür riskleri en aza indirecek stratejiler geliştirmeye davet ediyoruz.

Güvenli ve Etik Kullanım İçin Öneriler

• İnsan Gözetimi (Human Oversight): Özellikle halka açık (public-facing) uygulamalarda çıktıların kalitesini yönetmek ve iyileştirmek için bir insan küratörlük katmanı eklenmesini veya filtreler kullanılmasını öneriyoruz. Bu yaklaşım, beklenmedik şekilde sakıncalı içerik üretme riskini azaltmaya yardımcı olabilir.
• Uygulamaya Özel Test: Trendyol LLM'i kullanmayı planlayan geliştiriciler, kendi özel uygulamalarına göre uyarlanmış kapsamlı güvenlik testleri ve optimizasyonlar yapmalıdır. Modelin yanıtları öngörülemez olabileceği ve zaman zaman önyargılı, yanlış veya saldırgan olabileceği için bu çok önemlidir.
• Sorumlu Geliştirme ve Dağıtım: Trendyol LLM'in etik ve güvenli bir şekilde uygulanmasını sağlamak, geliştiricilerin ve kullanıcıların sorumluluğundadır. Kullanıcıları modelin sınırlamaları konusunda dikkatli olmaya ve yanlış kullanımı veya zararlı sonuçları önlemek için uygun güvenlik önlemlerini (safeguards) almaya çağırıyoruz.

---

Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı kuralımız gereği lisans ve model isimleri korunmuştur.