nlztrk's picture
Create README.md
f78f290
|
raw
history blame
1.93 kB
---
license: apache-2.0
language:
- tr
pipeline_tag: token-classification
widget:
- text: >-
Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat
Antakya akrabalarım göçük altında #hatay #Afad
example_title: Örnek
metrics:
- accuracy
- f1
- recall
- precision
---
# Model: 'deprem-ner-mdebertav3'
### Validasyon Sonuçları
- **Precision:** 0.711819
- **Recall:** 0.783626
- **F1:** 0.745999
- **Accuracy:** 0.933360
### Eğitim Parametreleri
```
evaluation_strategy="epoch"
save_strategy="epoch"
load_best_model_at_end=True
learning_rate=3e-5
per_device_train_batch_size=8
per_device_eval_batch_size=16
num_train_epochs=15
weight_decay=0.01
seed=42
```
### Örnekler
Bu model depremde enkaz altında kalan kişilerin bildirimlerinden sokak, il, ilçe gibi bilgileri çekmeye çalıştık.
Örnek girdiler:
- "Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat Antakya akrabalarım göçük altında #hatay #Afad"
- "MARAȘA'ta arkadaşimizdan haber alamıyoruz ACIL yardım Penta Park konutları 1. Blok en üst kat 11. Kat \n\n@AFADBaskanlik #kahramanmaraş\nACİL"
Verdiği çıktılar:
```
[
{
"entity_group": "mahalle",
"score": 0.8160411715507507,
"word": "Akevler mahallesi",
"start": 14,
"end": 31
},
{
"entity_group": "sokak",
"score": 0.940501868724823,
"word": "Rüzgar sokak",
"start": 32,
"end": 44
},
{
"entity_group": "Apartman/Site",
"score": 0.8081040978431702,
"word": "Tuncay apartmanı",
"start": 45,
"end": 61
},
{
"entity_group": "ilce",
"score": 0.854024350643158,
"word": "Antakya",
"start": 72,
"end": 79
}
]
```
### Değerlendirme
Bu modeli Hugging Face Hub'daki diğer modellerle karşılaştırdık, örnek 30 input'ta sonuçları [bu repository'de](https://huggingface.co/datasets/deprem-ml/butun_model_benchmarklari) bulabilirsiniz.