gpt2-turkish-50m / README.md
cenkersisman's picture
Update README.md
b8f3507
|
raw
history blame
2.27 kB
metadata
widget:
  - text: limon
    example_title: limon
  - text: kayseri
    example_title: kayseri
  - text: kanal d
    example_title: kanal d
  - text: sonunda
    example_title: sonunda
  - text: hayatın anlamı
    example_title: hayatın anlamı
  - text: sözcüklerin anlamsızlığı
    example_title: sözcüklerin anlamsızlığı
language:
  - tr

Model Card for Model ID

Model Card for GPT-2 Turkish Model

Model Description

GPT-2 Turkish Model is a language model based on the GPT-2 architecture, fine-tuned for the Turkish language. It is capable of generating human-like text based on a given prompt and has been trained on a large corpus of Turkish text data.

How to Get Started with the Model

# Example code for inference with the model

from transformers import GPT2Tokenizer, GPT2LMHeadModel

model_name = "cenkersisman/gpt2-turkish-50m"  # Change to the model name you have uploaded to Hugging Face
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

prompt = "okyanusun derinliklerinde bulunan"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, pad_token_id=tokenizer.eos_token_id)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Sınırlamalar ve Önyargılar

Bu model, bir özyineli dil modeli olarak eğitildi. Bu, temel işlevinin bir metin dizisi alıp bir sonraki belirteci tahmin etmek olduğu anlamına gelir. Dil modelleri bunun dışında birçok görev için yaygın olarak kullanılsa da, bu çalışmayla ilgili birçok bilinmeyen bulunmaktadır.

Model, küfür, açık saçıklık ve aksi davranışlara yol açan metinleri içerdiği bilinen bir veri kümesi üzerinde eğitildi. Kullanım durumunuza bağlı olarak, bu model toplumsal olarak kabul edilemez metinler üretebilir.

Tüm dil modellerinde olduğu gibi, bu modelin belirli bir girişe nasıl yanıt vereceğini önceden tahmin etmek zordur ve uyarı olmaksızın saldırgan içerik ortaya çıkabilir. Sonuçları yayınlamadan önce hem istenmeyen içeriği sansürlemek hem de sonuçların kalitesini iyileştirmek için insanların çıktıları denetlemesini veya filtrelemesi önerilir.