DeciMind Gemma 3 4B QLoRA Adapter
Bu adapter, Türkçe şirket, finans, müşteri kaybı ve insan kaynakları analizi görevleri için QLoRA ile supervised fine-tune edilmiştir.
Eğitim
- Base model:
google/gemma-3-4b-it - Dataset:
TalhaKa/decimind-company-analysis-tr - Yöntem: 4-bit NF4, double quantization, PEFT LoRA
- LoRA: r=32, alpha=64, dropout=0.05
- Dil: Türkçe
Sınırlamalar
Bu model tek başına finansal, İK veya ticari karar vermek için kullanılmamalıdır. Deterministik değerlendirme metrikleri insan değerlendirmesinin yerini tutmaz.
Değerlendirme
{
"train": {
"train_runtime": 3699.7029,
"train_samples_per_second": 0.079,
"train_steps_per_second": 0.011,
"total_flos": 5788075838568480.0,
"train_loss": 0.39677683818034637,
"epoch": 3.0
},
"dataset": {
"splits": {
"train": {
"records": 8695,
"empty_records": 0,
"long_record_estimate": 1917
},
"validation": {
"records": 1087,
"empty_records": 0,
"long_record_estimate": 240
},
"test": {
"records": 1087,
"empty_records": 0,
"long_record_estimate": 240
}
},
"total_records": 10869
},
"target_modules": [
"down_proj",
"gate_proj",
"k_proj",
"o_proj",
"q_proj",
"up_proj",
"v_proj"
],
"adapter_size_bytes": 632497810
}
Örnek kullanım
Adapter, base model ile birlikte PEFT PeftModel.from_pretrained kullanılarak
yüklenebilir. Hub tokenı kaynak koda yazılmamalıdır.
- Downloads last month
- 9
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support