metadata

language: tr

Turkish SQuAD Model : Question Answering

I fine-tuned Loodos-Turkish-Bert-Model for Question-Answering problem with TQuAD dataset

Loodos-BERT-base: https://huggingface.co/loodos/bert-base-turkish-uncased
TQuAD dataset: https://github.com/TQuad/turkish-nlp-qa-dataset

Training Code

!python3 Turkish-QA.py \
  --model_type bert \
  --model_name_or_path loodos/bert-base-turkish-uncased
  --do_train \
  --do_eval \
  --train_file trainQ.json \
  --predict_file dev1.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 5e-5 \
  --num_train_epochs 3.0 \
  --max_seq_length 384 \
  --output_dir "./model"

language: tr
tags:
- question-answering
- loodos-bert-base
- TQuAD 
- tr
model-index:
- name: loodos-bert-base-uncased-QA-fine-tuned
  results: 
  - task:
      name: Question Answering
      type: question-answering
    dataset:
      name: TQuAD 
      type: Question-Answering-Dataset
      args: tr
    metrics:
      - name: Accuracy
      - value: 0.9125744047619048

Example Usage

Load Model

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("oguzhanolm/loodos-bert-base-uncased-QA-fine-tuned")

model = AutoModelForQuestionAnswering.from_pretrained("oguzhanolm/loodos-bert-base-uncased-QA-fine-tuned")

Apply the model

istanbul="İstanbul, Türkiye'de Marmara Bölgesi'nde yer alan şehir ve Türkiye Cumhuriyeti Devletinin 81 ilinden biridir. Ülkenin nüfus bakımından en çok göç alan ve en kalabalık ilidir. Ekonomik, tarihî ve sosyo-kültürel açıdan önde gelen şehirlerden biridir. Şehir, iktisadi büyüklük açısından dünyada 34. sırada yer alır. Nüfuslarına göre şehirler listesinde belediye sınırları göz önüne alınarak yapılan sıralamaya göre Avrupa'da birinci, dünyada ise altıncı sırada yer almaktadır."
print(nlp(question="İstanbul büyüklük açısından kaçıncı sıradadır?", context=istanbul))
print(nlp(question="İstanbul nerede bulunur?", context=istanbul))