|
--- |
|
license: apache-2.0 |
|
language: |
|
- tr |
|
pipeline_tag: token-classification |
|
widget: |
|
- text: >- |
|
Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat |
|
Antakya akrabalarım göçük altında #hatay #Afad |
|
example_title: Örnek |
|
metrics: |
|
- accuracy |
|
- f1 |
|
- recall |
|
- precision |
|
--- |
|
# Model: 'deprem-ner-mdebertav3' |
|
|
|
### Validasyon Sonuçları |
|
- **Precision:** 0.711819 |
|
- **Recall:** 0.783626 |
|
- **F1:** 0.745999 |
|
- **Accuracy:** 0.933360 |
|
|
|
### Eğitim Parametreleri |
|
``` |
|
evaluation_strategy="epoch" |
|
save_strategy="epoch" |
|
load_best_model_at_end=True |
|
learning_rate=3e-5 |
|
per_device_train_batch_size=8 |
|
per_device_eval_batch_size=16 |
|
num_train_epochs=15 |
|
weight_decay=0.01 |
|
seed=42 |
|
``` |
|
|
|
### Örnekler |
|
Bu model depremde enkaz altında kalan kişilerin bildirimlerinden sokak, il, ilçe gibi bilgileri çekmeye çalıştık. |
|
|
|
Örnek girdiler: |
|
- "Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat Antakya akrabalarım göçük altında #hatay #Afad" |
|
- "MARAȘA'ta arkadaşimizdan haber alamıyoruz ACIL yardım Penta Park konutları 1. Blok en üst kat 11. Kat \n\n@AFADBaskanlik #kahramanmaraş\nACİL" |
|
|
|
Verdiği çıktılar: |
|
|
|
``` |
|
[ |
|
{ |
|
"entity_group": "mahalle", |
|
"score": 0.8160411715507507, |
|
"word": "Akevler mahallesi", |
|
"start": 14, |
|
"end": 31 |
|
}, |
|
{ |
|
"entity_group": "sokak", |
|
"score": 0.940501868724823, |
|
"word": "Rüzgar sokak", |
|
"start": 32, |
|
"end": 44 |
|
}, |
|
{ |
|
"entity_group": "Apartman/Site", |
|
"score": 0.8081040978431702, |
|
"word": "Tuncay apartmanı", |
|
"start": 45, |
|
"end": 61 |
|
}, |
|
{ |
|
"entity_group": "ilce", |
|
"score": 0.854024350643158, |
|
"word": "Antakya", |
|
"start": 72, |
|
"end": 79 |
|
} |
|
] |
|
``` |
|
### Değerlendirme |
|
Bu modeli Hugging Face Hub'daki diğer modellerle karşılaştırdık, örnek 30 input'ta sonuçları [bu repository'de](https://huggingface.co/datasets/deprem-ml/butun_model_benchmarklari) bulabilirsiniz. |