Update README.md
Browse files
README.md
CHANGED
@@ -1,25 +1,60 @@
|
|
1 |
---
|
2 |
-
base_model:
|
3 |
language:
|
4 |
-
-
|
5 |
license: apache-2.0
|
6 |
tags:
|
7 |
- text-generation-inference
|
8 |
- transformers
|
9 |
-
-
|
10 |
- llama
|
11 |
-
-
|
12 |
-
- sft
|
13 |
-
datasets:
|
14 |
-
- inetnuc/turkish_combined_dataset
|
15 |
---
|
16 |
|
17 |
-
#
|
18 |
|
19 |
-
- **
|
20 |
-
- **
|
21 |
-
- **
|
22 |
|
23 |
-
|
24 |
|
25 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
+
base_model: inecnuc/Llama-3.1-8B-4bit-turkish-chat
|
3 |
language:
|
4 |
+
- tr
|
5 |
license: apache-2.0
|
6 |
tags:
|
7 |
- text-generation-inference
|
8 |
- transformers
|
9 |
+
- inetnuc
|
10 |
- llama
|
11 |
+
- gguf
|
|
|
|
|
|
|
12 |
---
|
13 |
|
14 |
+
# Llama-3.1-8B Türkçe Sohbet Modeli
|
15 |
|
16 |
+
- **Geliştiren:** inetnuc
|
17 |
+
- **Lisans:** apache-2.0
|
18 |
+
- **Temel Model:** unsloth/Llama-3.1-8B-4bit
|
19 |
|
20 |
+
Bu Llama-3.1-8B modeli, nükleer ile ilgili konular için metin üretim yeteneklerini artırmak amacıyla ince ayar yapılmıştır. Eğitim süreci, [Unsloth](https://github.com/unslothai/unsloth) ve Huggingface'in TRL kütüphanesi kullanılarak hızlandırılmış olup, 2 kat daha hızlı performans elde edilmiştir.
|
21 |
|
22 |
+
## İnce Ayar Süreci
|
23 |
+
Model, Unsloth kütüphanesi kullanılarak ince ayar yapılmıştır ve süreç aşağıdaki adımları içermektedir:
|
24 |
+
|
25 |
+
1. **Veri Hazırlama:** Türkçe dili ile ilgili veriler yüklendi ve ön işlemden geçirildi.
|
26 |
+
2. **Model Yükleme:** `unsloth/Llama-3.1-8B-4bit` temel model olarak kullanıldı.
|
27 |
+
3. **LoRA Uygulaması:** Etkin eğitim için LoRA (Düşük Rütbe Adaptasyonu) uygulandı.
|
28 |
+
4. **Eğitim:** Optimize edilmiş hiperparametrelerle Hugging Face'in TRL kütüphanesi kullanılarak model ince ayar yapıldı.
|
29 |
+
|
30 |
+
## Model Detayları
|
31 |
+
|
32 |
+
- **Temel Model:** `unsloth/Llama-3.1-8B-4bit`
|
33 |
+
- **Dil:** Türkçe (`tr`)
|
34 |
+
- **Lisans:** Apache-2.0
|
35 |
+
|
36 |
+
## Yazar
|
37 |
+
|
38 |
+
**MUSTAFA UMUT ÖZBEK**
|
39 |
+
|
40 |
+
**https://www.linkedin.com/in/mustafaumutozbek/**
|
41 |
+
**https://x.com/m_umut_ozbek**
|
42 |
+
|
43 |
+
|
44 |
+
## Kullanım
|
45 |
+
|
46 |
+
### Modeli Yükleme
|
47 |
+
|
48 |
+
Modeli ve tokenizer'ı aşağıdaki kod parçası ile yükleyebilirsiniz:
|
49 |
+
|
50 |
+
```python
|
51 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
52 |
+
|
53 |
+
# Tokenizer ve modeli yükleme
|
54 |
+
tokenizer = AutoTokenizer.from_pretrained("inetnuc/Llama-3.1-8B-4bit-turkish-chat")
|
55 |
+
model = AutoModelForCausalLM.from_pretrained("inetnuc/Llama-3.1-8B-4bit-turkish-chat")
|
56 |
+
|
57 |
+
# Metin üretim örneği
|
58 |
+
inputs = tokenizer("IAEA'nın siber güvenlik yaklaşımı nedir?", return_tensors="pt")
|
59 |
+
outputs = model.generate(**inputs, max_new_tokens=128)
|
60 |
+
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|