cenkersisman
/

gpt2-turkish-900m

Text Generation

text-generation-inference

Inference Endpoints

Model card Files Files and versions Community

cenkersisman commited on Sep 14, 2023

Commit

07a2ba1

•

1 Parent(s): 2a97e30

Update README.md

Files changed (1) hide show

README.md +3 -2

README.md CHANGED Viewed

@@ -27,7 +27,7 @@ GPT-2 Türkçe Modeli
 GPT-2 Türkçe Modeli, Türkçe diline özelleştirilmiş olan GPT-2 mimarisi temel alınarak oluşturulmuş bir dil modelidir. Belirli bir başlangıç metni temel alarak insana benzer metinler üretme yeteneğine sahiptir ve geniş bir Türkçe metin veri kümesi üzerinde eğitilmiştir.
 Modelin eğitimi için 900 milyon karakterli Vikipedi seti kullanılmıştır. Eğitim setindeki cümleler maksimum 48 tokendan (token = kelime kökü ve ekleri) oluşmuştur bu yüzden oluşturacağı cümlelerin boyu sınırlıdır..
-Türkçe heceleme yapısına uygun tokenizer kullanılmış ve model 5 milyon adımda yaklaşık 8 epoch eğitilmiştir. Eğitim halen devam etmektedir.
 Eğitim için 4GB hafızası olan Nvidia Geforce RTX 3050 GPU kullanılmaktadır.
 ## Model Nasıl Kullanılabilir
@@ -50,8 +50,9 @@ print(generated_text)
 ```
 ## Eğitim Süreci Eğrisi
-![image/png](https://huggingface.co/cenkersisman/gpt2-turkish-900m/resolve/main/l2.png)
 ## Sınırlamalar ve Önyargılar
 Bu model, bir özyineli dil modeli olarak eğitildi. Bu, temel işlevinin bir metin dizisi alıp bir sonraki belirteci tahmin etmek olduğu anlamına gelir. Dil modelleri bunun dışında birçok görev için yaygın olarak kullanılsa da, bu çalışmayla ilgili birçok bilinmeyen bulunmaktadır.

 GPT-2 Türkçe Modeli, Türkçe diline özelleştirilmiş olan GPT-2 mimarisi temel alınarak oluşturulmuş bir dil modelidir. Belirli bir başlangıç metni temel alarak insana benzer metinler üretme yeteneğine sahiptir ve geniş bir Türkçe metin veri kümesi üzerinde eğitilmiştir.
 Modelin eğitimi için 900 milyon karakterli Vikipedi seti kullanılmıştır. Eğitim setindeki cümleler maksimum 48 tokendan (token = kelime kökü ve ekleri) oluşmuştur bu yüzden oluşturacağı cümlelerin boyu sınırlıdır..
+Türkçe heceleme yapısına uygun tokenizer kullanılmış ve model 7.5 milyon adımda yaklaşık 12 epoch eğitilmiştir. Eğitim halen devam etmektedir.
 Eğitim için 4GB hafızası olan Nvidia Geforce RTX 3050 GPU kullanılmaktadır.
 ## Model Nasıl Kullanılabilir
 ```
 ## Eğitim Süreci Eğrisi
+![image/png](https://huggingface.co/cenkersisman/gpt2-turkish-900m/resolve/main/l3.png)
+![image/png](https://huggingface.co/cenkersisman/gpt2-turkish-900m/resolve/main/l4.png)
 ## Sınırlamalar ve Önyargılar
 Bu model, bir özyineli dil modeli olarak eğitildi. Bu, temel işlevinin bir metin dizisi alıp bir sonraki belirteci tahmin etmek olduğu anlamına gelir. Dil modelleri bunun dışında birçok görev için yaygın olarak kullanılsa da, bu çalışmayla ilgili birçok bilinmeyen bulunmaktadır.