cenkersisman commited on
Commit
6c6576e
1 Parent(s): eb733cd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -15
README.md CHANGED
@@ -1,13 +1,15 @@
1
  ---
2
  widget:
3
- - text: 'limon'
4
- example_title: limon
5
- - text: 'kayseri'
6
- example_title: kayseri
7
- - text: 'kabak çekirdeği'
8
- example_title: kabak çekirdeği
9
- - text: 'ne kadar'
10
- example_title: ne kadar
 
 
11
  - text: 'hayatın anlamı'
12
  example_title: hayatın anlamı
13
  - text: 'saint-joseph'
@@ -22,22 +24,23 @@ language:
22
  # Model
23
 
24
  GPT-2 Türkçe Modeli
25
- (Not: Bu model en fazla 48 token boyutunda cümleler desteklemektedir. cenkersisman/gpt2-turkish-128-token modeli ise 128 token desteklediğinden tercih edilmelidir.)
26
  ### Model Açıklaması
27
 
28
  GPT-2 Türkçe Modeli, Türkçe diline özelleştirilmiş olan GPT-2 mimarisi temel alınarak oluşturulmuş bir dil modelidir. Belirli bir başlangıç metni temel alarak insana benzer metinler üretme yeteneğine sahiptir ve geniş bir Türkçe metin veri kümesi üzerinde eğitilmiştir.
29
- Modelin eğitimi için 900 milyon karakterli Vikipedi seti kullanılmıştır. Eğitim setindeki cümleler maksimum 48 tokendan (token = kelime kökü ve ekleri) oluşmuştur bu yüzden oluşturacağı cümlelerin boyu sınırlıdır..
30
- Türkçe heceleme yapısına uygun tokenizer kullanılmış ve model 7.5 milyon adımda yaklaşık 12 epoch eğitilmiştir. Eğitim halen devam etmektedir.
31
- Eğitim için 4GB hafızası olan Nvidia Geforce RTX 3050 GPU kullanılmaktadır.
32
 
33
  ## Model Nasıl Kullanılabilir
 
34
 
35
  ```python
36
  # Model ile çıkarım yapmak için örnek kod
37
 
38
  from transformers import GPT2Tokenizer, GPT2LMHeadModel
39
 
40
- model_name = "cenkersisman/gpt2-turkish-900m"
41
  tokenizer = GPT2Tokenizer.from_pretrained(model_name)
42
  model = GPT2LMHeadModel.from_pretrained(model_name)
43
 
@@ -50,9 +53,9 @@ print(generated_text)
50
  ```
51
  ## Eğitim Süreci Eğrisi
52
 
53
- ![image/png](https://huggingface.co/cenkersisman/gpt2-turkish-900m/resolve/main/l3.png)
54
 
55
- ![image/png](https://huggingface.co/cenkersisman/gpt2-turkish-900m/resolve/main/l4.png)
56
  ## Sınırlamalar ve Önyargılar
57
  Bu model, bir özyineli dil modeli olarak eğitildi. Bu, temel işlevinin bir metin dizisi alıp bir sonraki belirteci tahmin etmek olduğu anlamına gelir. Dil modelleri bunun dışında birçok görev için yaygın olarak kullanılsa da, bu çalışmayla ilgili birçok bilinmeyen bulunmaktadır.
58
 
 
1
  ---
2
  widget:
3
+ - text: 'fransa''nın başkenti'
4
+ example_title: fransa'nın başkenti
5
+ - text: 'ingiltere''nın başkenti'
6
+ example_title: ingiltere'nin başkenti
7
+ - text: 'italya''nın başkenti'
8
+ example_title: italya'nın başkenti
9
+ - text: 'tek bacaklı kurbağa'
10
+ example_title: tek bacaklı kurbağa
11
+ - text: 'rize''de yağmur'
12
+ example_title: rize'de yağmur
13
  - text: 'hayatın anlamı'
14
  example_title: hayatın anlamı
15
  - text: 'saint-joseph'
 
24
  # Model
25
 
26
  GPT-2 Türkçe Modeli
27
+
28
  ### Model Açıklaması
29
 
30
  GPT-2 Türkçe Modeli, Türkçe diline özelleştirilmiş olan GPT-2 mimarisi temel alınarak oluşturulmuş bir dil modelidir. Belirli bir başlangıç metni temel alarak insana benzer metinler üretme yeteneğine sahiptir ve geniş bir Türkçe metin veri kümesi üzerinde eğitilmiştir.
31
+ Modelin eğitimi için 900 milyon karakterli Vikipedi seti kullanılmıştır. Eğitim setindeki cümleler maksimum 128 tokendan (token = kelime kökü ve ekleri) oluşmuştur bu yüzden oluşturacağı cümlelerin boyu sınırlıdır..
32
+ Türkçe heceleme yapısına uygun tokenizer kullanılmış ve model 7.5 milyon adımda yaklaşık 154 epoch eğitilmiştir.
33
+ Eğitim için 4GB hafızası olan Nvidia Geforce RTX 3050 GPU kullanılmaktadır. 16GB Paylaşılan GPU'dan da yararlanılmakta ve eğitimin devamında toplamda 20GB hafıza kullanılmaktadır.
34
 
35
  ## Model Nasıl Kullanılabilir
36
+ ÖNEMLİ: model harf büyüklüğüne duyarlı olduğu için, prompt tamamen küçük harflerle yazılmalıdır.
37
 
38
  ```python
39
  # Model ile çıkarım yapmak için örnek kod
40
 
41
  from transformers import GPT2Tokenizer, GPT2LMHeadModel
42
 
43
+ model_name = "cenkersisman/gpt2-turkish-128-token"
44
  tokenizer = GPT2Tokenizer.from_pretrained(model_name)
45
  model = GPT2LMHeadModel.from_pretrained(model_name)
46
 
 
53
  ```
54
  ## Eğitim Süreci Eğrisi
55
 
56
+ ![image/png](https://huggingface.co/cenkersisman/gpt2-turkish-128-token/resolve/main/1.png)
57
 
58
+ ![image/png](https://huggingface.co/cenkersisman/gpt2-turkish-128-token/resolve/main/2.png)
59
  ## Sınırlamalar ve Önyargılar
60
  Bu model, bir özyineli dil modeli olarak eğitildi. Bu, temel işlevinin bir metin dizisi alıp bir sonraki belirteci tahmin etmek olduğu anlamına gelir. Dil modelleri bunun dışında birçok görev için yaygın olarak kullanılsa da, bu çalışmayla ilgili birçok bilinmeyen bulunmaktadır.
61