onalla/AQGINDOT5-IMPROVED

AQG IndoT5 Improved

Model ini adalah hasil fine-tuning cahya/t5-base-indonesian-summarization-cased pada dataset rifkiaputri/idk-mrc untuk tugas Automatic Question Generation Bahasa Indonesia.

Format Input

generate question: answer: {answer} context: {context}

Perbaikan pada Notebook Improved

• Target question cleaning.
• Number-safe punctuation cleaning agar angka seperti 357.021 tidak rusak.
• Safe abbreviation expansion untuk mencegah duplikasi akronim.
• Wiki markup noise cleaning.
• Rejected data audit.
• Token length filtering.
• Question-word accuracy evaluation.
• Answer type evaluation.
• Human evaluation sample export.

Baseline Sebelumnya

{
  "BLEU-1": 59.64,
  "BLEU-2": 33.19,
  "BLEU-3": 22.3,
  "BLEU-4": 15.11,
  "BLEU-Avg": 32.56,
  "ROUGE-L": 50.28,
  "Exact Match": 4.98
}

Hasil Improved

{
  "BLEU-1": 41.11,
  "BLEU-2": 30.81,
  "BLEU-3": 24.95,
  "BLEU-4": 21.07,
  "BLEU-Avg": 29.48,
  "ROUGE-L": 48.13,
  "Exact Match": 9.93
}

Catatan

Model ini dilatih menggunakan IDK-MRC yang relatif terstruktur. Untuk deployment pada PDF/PPT/DOCX tidak terstruktur, sistem tetap membutuhkan preprocessing dokumen sebelum input diberikan ke model.