Update README.md

README.md

@@ -1,121 +1,3 @@
 ---
 license: apache-2.0
 ---
-# Brain-Bert-Service
-
-Google tarafından 2018 yılında BERT uzun adıyla Bidirectional Encoder Representations from Transformers modeli tanıttı. Bu tanıtımla birlikte doğal dil işleme üzerine devrim niteliğinde bir kanal oluşturdu. Bert modeli diğer modellerden ayıran en büyük özellik ise kurulmuş olan bir cümleyi **hem soldan sağa hemde sağdan sola** inceleyebiliyor.Oluşturulan bu mekenizma ile cümlelerdeki anlam ve kelimelerin birbiriyle olan bütünsel yapısını korumuş oluyor.
-
-Bert bahsedilen bu özelliğin yanı sıra çift yönlü modeli maskeleyebiliyor ve Next Sentence Prediction adını verdiği teknolojileri de eş zamanlı olarak kullanabiliyor. Bir cümlede maskeleme için **%15** kullanırken seçmiş olduğu kelimelerin **%80** de [MASK] token ile geriye kalanının %10'unu rastgele ve %10'unu değiştirmeden bırakıyor. Bert için daha fazla ayrıntı isterseniz aşağıdaki link üzerinden inceleyebilirsiniz.
-
-https://github.com/google-research/bert
-
-
-Teknofest 2023 Türkçe Doğal Dil İşleme kategorisinden bizimde Aşağılayıcı ifadelerin tespiti noktasında uzun uğraşlar noktasında kullandığımız BERT model ile **başarı oranı en yüksek** olarak karşımız çıktı. Kullandığımız model Türkçe olarak büyük kaynaklar üzerinde eğitilmiş **BERTURK**'ün uncased modelidir. BERTURK modelinin ayrıntıları için [tıklayınız](https://github.com/stefan-it/turkish-bert). 
-
-# Training
-
-**Data Preprocessing**
-
-Veri seti okuma işlemi ve veri temizleme servisini kullanarak temiz veri elde edilir. Bu aşamada Teknofest 2023 Doğal Dil İşleme Kategorisindeki Aşağılayıcı Dil Tespiti yarışması için yazmış olduğumuz veri temizleme aşamaları için ayrıntılı bilgi için [tıklayınız](https://github.com/tr-brain-com/acikhack2023TDDI/tree/main/cleaning-service). 
-
-**Not:** Servis incelendiğinde 3. parametre **STOPWORDS** ifadelerinin kullanılmaması için **False** gönderiyoruz. Bunun sebebi incelendiğinde veri seti içerisinde bir stopwords ve bir tane aşağılayıcı ifade barındığı gözlemlenmiştir. Bu sebeptendirki ifadenein kime,neye karşı olduğu tespiti zorlanmaktadır. Ayrıca model başarım oranı stopwords kullanıldığında düşdüğü gözlemlenmiştir.
-
-| Model               | STOPWORDS | Accuracy
-| --------------------| ----------|----------
-| bert-uncased        | True      | 90
-| bert-uncased        | **False** | **95.8**
-
-**Not:** Yarışma kapsamıda paylaşılmış olan veri setlerini tüm denemiş olduğumuz eğitim ve test setlerinde farklılık oluşturmaması adına **%90** eğitim,**%10** test seti olarak kendimiz ayırdık ve her iki veri setini ayrı ayrı yükledik.
-
-```python
-train_df = pd.read_csv("train_df.csv", sep="|", encoding="utf-8")
-validation_df = pd.read_csv("validation_df.csv", sep="|", encoding="utf-8")
-
-train_df['text'] = train_df['text'].apply(lambda x: clean.CLEANING(x, True, False, True).clean())
-train_df['target'] = train_df['target'].apply(lambda x: clean.CLEANING(x, True, False, True).clean())
-train_df['lentext'] = train_df['text'].apply(lambda x: len([y for y in x.rstrip().lstrip().split(" ") if y != ""]))
-train_df = train_df[train_df['lentext'] > 0]
-        
-
-validation_df['text'] = validation_df['text'].apply(lambda x: clean.CLEANING(x, True, False, True).clean())
-validation_df['lentext'] = validation_df['text'].apply(lambda x: len([y for y in x.rstrip().lstrip().split(" ") if y != ""]))
-validation_df['target'] = validation_df['target'].apply(lambda x: clean.CLEANING(x, True, False, True).clean())
-validation_df = validation_df[validation_df['lentext'] > 0]
-
-train_df = train_df.drop(['id', 'is_offensive'], axis=1)
-validation_df = validation_df.drop(['id', 'is_offensive'], axis=1)
-```
-Sonrasında veri setini ayrıntılı incelediğimizde bazı satırlarda verilerin boş geldiğini gözlemledik. Bu işlem için hem eğitim hemde test veri setlerinde silme işlemini gerçekleştirdikten sonra ver seti dağılımı aşağıdaki gibi olmuştur. 
-
-|Data         |Text Before        |Text After
-|-------------|------------------ |-------------
-|train_df     |(11355, 5)         |(11217, 5)
-|validation_df|(1262, 5)          |(1250, 5)
-
-Veri seti üzerinde kategorilerin aynı numra ile temsil edilebilmesi için **LabelEncoder** metodunu kullandık ve kendimiz için özelleştirmiş olduk.
-
-```python
-le = LabelEncoder()
-le_name_mapping = dict(zip(le.classes_, le.transform(le.classes_)))
-train_df['labels'] = train_df['target'].apply(lambda x: le_name_mapping[x])
-validation_df['labels'] = validation_df['target'].apply(lambda x: le_name_mapping[x])
-```
-**Model Train and Parameter**
-
-Tüm ön işleme işlemlerinin ardından modelimizin eğitilmeden önce başarım oranlarını en çok etkiliyen model parametrelerin belirlenmesidir. Aşağıdaki parametrelerin her biri model başarım oranını ayrı ayrı etkilemektedir. Paylaşmız olduğumuz parametreler en yüksek başarı oranı aldığımız değerlerdir.Parametrelerin her birinin ne işe yaradığını **Evalutaion** kısmında bahsedilmiştir.
-
- ```python
- model = ClassificationModel('bert',
-                                   'dbmdz/bert-base-turkish-uncased',
-                                    num_labels=5,
-                                    use_cuda=True,
-                                    args={'reprocess_input_data': True,
-                                          'overwrite_output_dir': True,
-                                          'num_train_epochs': 10,
-                                          "train_batch_size": 128,
-                                          "fp16": False,
-                                          "output_dir": "bert_model"})
-  ```
-
- | Model                  | Data Processing                                          |Accuracy
-| ---------------         | ---------------------------------------------------------|----------
-| bert-uncased            | Türkçe karakterleri dönüştürmeden başarı oranı           | 90
-| bert-uncased            | Türkçe karakterlere dönüştürerek başarı oranı            | 93.2
-| bert-uncased            | Türkçe karakterlere çevirip "ı" harfini "i" dönüştürmeden| 93.6
-| bert-uncased            | zemberek kütüphanesini kullanarak Morphology Normalize   | 94.8
-| bert-uncased            | zemberek Morphology Normalize,Türkçe karakterlere çevirip "ı" harfini "i" dönüştürmeden | 95.2
-| bert-uncased            | **zemberek Morphology Normalize,Türkçe karakterlere çevirip "ı" harfini "i" dönüştürmeden ve kürüf listesine değiştirme uygulamadan**|**95.8**
-
-
-
-# Evaluation
-
-| Parameter       | Value | Explanation
-| --------------- | ----- |----------
-| `train_batch_size` | 128  | Eğitim setinden ne kadar büyüklükde örneklem alarak eğitildiğini gösteren parametre
-| `num_train_epochs`    | 10   | Eğitim işleminin kaç iterasyon boyunca tekrar edeceğini söyler
-| `fp16`                | False | Ekrankartında kaç bitlik değer kullanılması gerektiği 
-| `output_dir`                | Path | Yeni eğitilmiş modelin kayıt edileceği yer
-
-**Confusion Matrix**
-
-Eğitim sonucu genel sonuçlar şu şekildedir:
-
-| Model           | Train     | Validation  | Accuracy  | F1 Score
-| --------------- | ----------|-------------|-------------| --------
-| **bert**       | **%90**    | **%10**    | **95.8** | **95.8**
-
-
-Bu eğitim içerisinde mevcut olan sınıflar için detaylı sınıflandırma raporu ise şu şekildedir:
-
-
-| Sınıf           | Precision   | Recall     | F1-Score    | Support  
-| --------------- | ------------|------------|-------------| -------- 
-| **OTHER**       | **96.1**  | **95.5** | **95.8**  | **358**
-| **PROFANITY**   | **97.1**  | **97.1** | **97.1**  | **239**
-| **INSULT**      | **94.9**  | **91.7** | **93.3**  | **242**
-| **SEXIST**      | **94.8**  | **97.1** | **96.0**  | **203**
-| **RACIST**      | **95.7**  | **98** | **96.8**  | **208**
-
-
-