Indonesian BERT Question Answer Uncased

Model Description

This model uses the bert-base-multilingual-uncased basic model and is trained for the question-answer task using Google's TyDi QA dataset.

Usage

from transformers import AutoTokenizer, BertForQuestionAnswering
import torch

tokenizer = AutoTokenizer.from_pretrained("wuriyanto/bert-uncased-qa-indonesian")
model = BertForQuestionAnswering.from_pretrained("wuriyanto/bert-uncased-qa-indonesian")

question = "apa nama lahir soekarno?"
text = "Dr.(HC) Ir. Soekarno (ER, EYD: Sukarno, nama lahir: Koesno Sosrodihardjo) (lahir di Surabaya, Jawa Timur, 6 Juni 1901 - meninggal di Jakarta, 21 Juni 1970 pada umur 69 tahun) adalah Presiden Indonesia pertama yang menjabat pada periode 1945-1966.Setelah pertanggung jawabannya ditolak Majelis Permusyawaratan Rakyat Sementara (MPRS) pada sidang umum ke empat tahun 1967, Soekarno diberhentikan dari jabatannya sebagai presiden pada Sidang Istimewa MPRS pada tahun yang sama dan Soeharto menggantikannya sebagai pejabat Presiden Republik Indonesia."

inputs = tokenizer(question, text, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

answer_start_index = outputs.start_logits.argmax()
answer_end_index = outputs.end_logits.argmax()

predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)