metadata

license: apache-2.0
tags:
  - generated_from_trainer
model-index:
  - name: distilbert-base-uncased-indonesia-squadv2
    results: []
widget:
  - text: Siapa yang mendirikan Sunda Pura?
    context: >-
      Pada tahun 397 M, Raja Purnawarman mendirikan Sunda Pura, yang terletak di
      pantai utara Jawa Barat, sebagai ibu kota baru kerajaan.Ibu kota kerajaan
      Tarumanagara tersebut kemungkinan besar terletak di suatu tempat antara
      Kecamatan Tugu, Jakarta Utara dan Kabupaten Bekasi, Jawa Barat.
      Purnawarman meninggalkan tujuh batu peringatan di seluruh daerah tersebut,
      termasuk Provinsi Banten dan Jawa Barat saat ini, yang terdiri dari
      prasasti yang memuat namanya
    example_title: Example 1 - Name
  - text: Kapan Orang Belanda datang ke Jayakarta?
    context: >-
      Orang Belanda datang ke Jayakarta sekitar akhir abad ke-16, setelah
      singgah di Banten pada 1596. Jayakarta pada awal abad ke-17 diperintah
      oleh Pangeran Jayakarta, salah seorang kerabat Kesultanan Banten.
    example_title: Example 2 - Time
  - text: Kapan ulang tahun jakarta?
    context: >-
      Penetapan 22 Juni sebagai hari ulang tahun Jakarta didasari momen
      Fatahillah berhasil mengusir Portugis dari Sunda Kelapa pada 22 Juni 1527.
    example_title: Example 3 - Time

distilbert-base-uncased-indonesia-squadv2

This model is a fine-tuned version of distilbert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.9144

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Training results

Training Loss	Epoch	Step	Validation Loss
2.1676	1.0	14833	2.0658
1.865	2.0	29666	1.9552
1.6669	3.0	44499	1.9144

Framework versions

Transformers 4.25.1
Pytorch 1.12.1+cu113
Datasets 2.7.1
Tokenizers 0.13.2

Evaluations result

{'exact': 42.29721064443732,
 'f1': 54.120071422699546,
 'total': 24952,
 'HasAns_exact': 42.29721064443732,
 'HasAns_f1': 54.120071422699546,
 'HasAns_total': 24952,
 'best_exact': 42.29721064443732,
 'best_exact_thresh': 0.0,
 'best_f1': 54.120071422699546,
 'best_f1_thresh': 0.0}

Simple Usage

from transformers import pipeline
qa_pipeline = pipeline(
    "question-answering",
    model="asaduas/distilbert-base-uncased-indonesia-squadv2",
    tokenizer="asaduas/distilbert-base-uncased-indonesia-squadv2"
)
qa_pipeline(
    {
        'context': "Pada tahun 1512 juga Afonso de Albuquerque mengirim Antonio Albreu dan Franscisco Serrao untuk memimpin armadanya mencari jalan ke tempat asal rempah-rempah di Maluku. Sepanjang perjalanan, mereka singgah di Madura, Bali, dan Lombok. Dengan menggunakan nakhoda-nakhoda Jawa, armada itu tiba di Kepulauan Banda, terus menuju Aibku Utara sampai tiba di Ternate.",
        'question': "Siapa yang dikirim oleh Afonso de Albuquerque Pada tahun 1512?"
    }
)

Output:

[
  {'score': 0.8919295072555542,
  'start': 51,
  'end': 88,
  'answer': ' Antonio Albreu dan Franscisco Serrao'}
]