File size: 1,929 Bytes
f78f290
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
---
license: apache-2.0
language:
- tr
pipeline_tag: token-classification
widget:
- text: >-
    Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat
    Antakya akrabalarım göçük altında #hatay #Afad
  example_title: Örnek
metrics:
- accuracy
- f1
- recall
- precision
---
# Model: 'deprem-ner-mdebertav3'

### Validasyon Sonuçları
- **Precision:** 0.711819
- **Recall:** 0.783626
- **F1:** 0.745999
- **Accuracy:** 0.933360

### Eğitim Parametreleri
```
evaluation_strategy="epoch"
save_strategy="epoch"
load_best_model_at_end=True
learning_rate=3e-5
per_device_train_batch_size=8
per_device_eval_batch_size=16
num_train_epochs=15
weight_decay=0.01
seed=42
```

### Örnekler
Bu model depremde enkaz altında kalan kişilerin bildirimlerinden sokak, il, ilçe gibi bilgileri çekmeye çalıştık. 

Örnek girdiler:
- "Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat Antakya akrabalarım göçük altında #hatay #Afad"
- "MARAȘA'ta arkadaşimizdan haber alamıyoruz ACIL yardım Penta Park konutları 1. Blok en üst kat 11. Kat \n\n@AFADBaskanlik #kahramanmaraş\nACİL"

Verdiği çıktılar:

```
[
  {
    "entity_group": "mahalle",
    "score": 0.8160411715507507,
    "word": "Akevler mahallesi",
    "start": 14,
    "end": 31
  },
  {
    "entity_group": "sokak",
    "score": 0.940501868724823,
    "word": "Rüzgar sokak",
    "start": 32,
    "end": 44
  },
  {
    "entity_group": "Apartman/Site",
    "score": 0.8081040978431702,
    "word": "Tuncay apartmanı",
    "start": 45,
    "end": 61
  },
  {
    "entity_group": "ilce",
    "score": 0.854024350643158,
    "word": "Antakya",
    "start": 72,
    "end": 79
  }
]
```
### Değerlendirme
Bu modeli Hugging Face Hub'daki diğer modellerle karşılaştırdık, örnek 30 input'ta sonuçları [bu repository'de](https://huggingface.co/datasets/deprem-ml/butun_model_benchmarklari) bulabilirsiniz.