## Analisis Metode Pattern Based Approach Question Answering System Pada Dataset Hukum Islam Berbasis Bahasa Indonesia
Ade Iriani Sapitri, Said Al-Faraby, Adiwijaya
Fakultas Informatika, Universitas Telkom Bandung, Indonesia Email: 1 adeiriani@student.telkomuniversity.ac.id, 2 saidalfaraby@telkomuniversity.ac.id,
3 adiwijaya@telkomuniversity.ac.id

## Abstrak
Hukum islam  merupakan  ketentuan perintah dari Allah SWT yang  memiliki hukum  yang berbeda-beda. Dibutuhkan  waktu yang lama dalam proses pencarian informasi secara manual mengingat banyaknya jenis dari hukum islam. Dari permasalahan di atas dengan bantuan Question Answering System dapat mengatasi permasalahan tersebut. Tujuan dari penelitian ini untuk membantu pengguna dalam mencari informasi yang dibutuhkan dengan masukan berupa pertanyaan dengan kategori properti yaitu (OBJECT) Apa, (PERSON) Siapa, (LOCATION) Dimana, (TIME)  Kapan  dan (COUNT) Berapa. Pada  penelitian  ini Question Answering System diimplementasikan dengan metode Pattern Based Approach berdasarkan penggolongan pola. Pada penelitian  ini  didapatkan  hasil  akurasi  jawaban  sebesar  64,5%  dan  pada  setiap  tipe  kategori  pertanyaan “Apa”,”Kapan”,”Berapa”,”Siapa” dan “Dimana” dengan akurasi jawaban sebesar 63,3%, 65%, 73,3%, 65%, dan 40%. Dari hasil akurasi yang didapatkan bahwa metode Pattern Based Approach mampu diimplementasikan pada Question Answering System untuk mengatasi permasalahan yang terjadi diatas.
Kata kunci : hukum islam, question answering system, pattern based approach

## Abstract
Islamic  law  is  a  provision  of  the  command  of  Allah  SWT  which  has  different  laws.  It  takes  a  long  time  in  the  process  of searching  information  manually  given the  many types  of  islamic law. From the above problems  with the  help of Question Answering System can solve the problem. The purpose of this study is to assist usesrs in finding the required information with input in the form of question with property category (OBJECT) What, (PERSON) Who, (LOCATION) Where, (TIME) When and (COUNT) How much. Research Question Answering System is implemented with the Pattern Based Approach method based on pattern classification. In this research we get the result of accuracy of answer equal 64,5% in every type of question category “What”,”When”,”How much”, “Who”, and “Where” with answer accuracy equal to 63,3%, 65%, 73,3%, 65% and 40%. From the accuracy results obtained that the method of Pattern Based Approach is able to be implemented in Question Answering System to solve the above problems
Keywords : islamic law, question answering system, pattern based approach

## 1. PENDAHULUAN
Perkembangan teknologi saat ini sudah sangat berkembang pesat salah satunya adalah peningkatan pesat dalam penyampaian informasi. Sehingga dalam menemukan suatu informasi sangat dibutuhkan pemahaman dan waktu yang relatif cukup  lama untuk melakukan proses pencarian dikarenakan  harus  membaca dan  melakukan proses penyariangan terlebih dahulu untuk mencari informasi yang diinginkan. Salah satu cara mengatasi permasalahan tersebut adalah dengan  bantuan sistem pencarian informasi search engine namun dengan bantuan tersebut user masih harus melakukan eksplorasi data yang ingin dicari pada dokumen yang diinginkan. Hal ini tentunya sangat tidak efektif, baik dari segi waktu maupun dari segi keakuratan jawaban. Melihat dari permasalahan tentang hukum islam, hukum islam merupakan ketentuan perintah dari Allah  SWT, setiap perintah yang dianjurkan Allah SWT memiliki  hukum  yang  berbeda-beda.  Dibutuhkan  waktu  yang  lama  dalam  proses  pencarian  secara  manual mengingat banyaknya jenis dari hukum islam.
Dilihat  dari  permasalahn  tersebut Question  Answering  System dapat  membantu  proses  tersebut  dengan mengijinkan user untuk menginputkan pertanyaan dan memperoleh jawaban dengan cepat dan ringkas. Question Answering System bukanlah sistem baru karena telah banyak penelitian yang telah diteliti dan dipublikasikan [8] . Namun,  saat  ini  masih  sedikitnya  pengimplementasian Question  Answering  System berbasis  Bahasa  Indonesia. Sehingga  dengan  pengimplementasian Question  Answering  System dengan  metode Pattern  Based  Approach mampu membantu permasalahan yang dibutuhkan pada dataset hukum islam berbasis Bahasa Indonesia.

## 2. TEORITIS

## 2.1 Information Retrieval System
Information  Retrieval  merupakan  sistem  yang  digunakan  untuk  menemukan  informasi  yang  relevan  dalam menemukan material berupa dokumen yang bersifat tidak terstruktur untuk memenuhi kebutuhan informasi dalam skala besar [5] . Dalam Information Retrieval atau sistem temu kembali memiliki banyak obyek yang menjadi kajian sistem temu kembali, diantaranya Question answering IR system, Cross-language retrieval, Speech retrieval, Music retrieval, dan Image retrival [2] .
2.2 Question Answering System
Question  answering  system  merupakan  sebuah  sistem  yang  memiliki  tujuan  untuk  menampilkan  jawaban dari pertanyaan yang diberikan oleh user. Question Answering System merupakan kombinasi dari berbagai disiplin ilmu diantaranya Information Retrieval dengan Natural Language Processing [3] . Ada beberapa faktor yang perlu diperhatikan, yaitu : sumber informasi yang akan digunakan untuk menjawab pertanyaan (database, corpus, web), user, tipe pertanyaan, format dan cara menghasilkan jawaban, kebutuhan akan sumber linguistik, evalua- si, dan penyajian  output.  Faktor  tersebut  baik  secara  langsung  maupun  tidak  akan  menentukan  kompleksitas  dan performansi dari QA system [9] .
Pada penelitian yang dilakukan oleh Lukman Fakih tentang QAS terjemahan Al-Quran menggunakan Named Entity Recognition didapatkan hasil akurasi jawaban sebesar 73% dengan tipe pertanyaan siapa kapan dan dimana. Sedangkan,  pada  penelitian  yang  dilakukan  oleh  Agus  Umriadi  tentang  QAS  pada  dokumen  bahasa  Indonesia dengan pertanyaan bersifat list didapatkan hasil akurasi jawaban sebesar 26% Siapa, 36,3% Dimana, 70% Kapan dan 40 % Berapa.

## 2.3 Arsitektur Question Answering System
Dalam  pembangunan  Question  Answering  System  banyak  arsitektur  yang  dapat  digunakan.  OpenEphyra merupakan  framework dalam pembangunan Question  Answering System dengan  menggunakan  metode  Pattern Based  Approach.  Secara  umum  komponen  inti  terdiri  dari  yaitu  :  analisa  pertanyaan  question  analysis, pembentukan query (query generation), pencarian (search), pembentukan kandidat jawaban dan penilaian jawaban [6] .

## Gambar 1 Arsitektur Question Answering System dengan pendekatan pattern learning[6]

## 2.4 Pattern Based Approach
Pattern Based  Approach  merupakan  metode  Question  Answering  System  yang ditentukan  berdasarkan  penggo- longan pola. Dari hasil pengujian sebelumnya Pattern Based Approach pada Question Answering System berbahasa indonesia didapatkan hasil akurasi interpretasi sebesar 90% dan akurasi jawaban sebesar 35% [6] . Diketahui dalam penelitian tersebut didapatlah kekurangannya terhadap adaptasi OpenEphyra ke bahasa Indonesia diperlukannya modifikasi atau mengubah komponen spesifik bahasa alami seperti : NE tagger , stemmer , phrase chunker , (POS) tagger dan tokenizer .

## 3. ANALISA DAN PEMBAHASAN
Tujuan  dari  penelitian  ini  adalah  membuat  sistem  yang  mampu  melakukan  proses  pencarian  jawaban  dari pertanyaan  yang telah diinputkan oleh user . Sistem  ini  hanya dapat menjawab pertanyaan dengan named entity LOCATION,  PERSON,  COUNT,  TIME  dan  OBJECT  dari  dataset  yang  telah  dibuat  pada  buku  ensiklopedia hukum islam dan artikel internet. Sehingga, kalimat pertanyaan yang dapat diinputkan oleh user juga terbatas pada kalimat  pertanyaan  seperti  “Apa”,  “Siapa”,  “Dimana”,  “Kapan”  dan  “Berapa”.  Pada  penelitian  ini mengimplementasikan tiga tahapan proses yang membangun arsitektur umum Question Answering System, seperti yang  ditunjukkan  pada  gambar  1 [4].  Adapun  fungsi  yang  dijalankan  pada  setiap  tahapan  proses  implementasi Question Answering System dijelaskan sebagai berikut.

## 3.1 Question Analyzer
Tahap question  analyzer akan  menerima  masukan  berupa  pertanyaan  dari user .  Kemudian,  pertanyaan  akan dilakukan  normalisasi pertanyaan. Contoh pertanyaan  “Apa  hukum salat duha ?”  maka sistem akan  mengubah menjadi  “apa  hukum  salat  duha”.  Selanjutnya  dicari  kata  yang  menjadi  kata tanya  dan  didapatkan  kata  “apa” sebagai kata tanya. Kata tanya “apa” akan disimpan untuk pencocokan pada hasil Named Entity Recognation yang dilakukan pada proses answer selection . Sehingga hasil analisis dari interpretasi pertanyaan didapatkan  : 1. Kata tanya
: Apa
2. Kandidat keywords
: hukum, salat, duha
3.2 Query Generator
Pada  proses query  generator pada  penelitian  ini  menggunakan  metode bag  of  words. Metode bag  of  words menggunakan  hasil  analisis  dari  pertanyaan  yang  sudah  dinormalisasi  dari question  analyzer untuk  dijadikan keywords dalam pencarian dokumen. Pada tahap question analyzer sistem menyimpan kata tanya “apa” sehingga hasil dari bag of words berupa keywords .
Keywords : [‘hukum’, ‘salat’, ‘duha’]

## 3.3 Search Engine
Pada proses search engine dilakukan dengan menggunakan proses model ruang vektor. Adapun tahapan dari model ruang vektor sebagai berikut.
1. Pengindeksan (indexing) dokumen.
Pada  tahap  pengindeksan  dilakukan  proses  normalisasi  pada  seluruh  dokumen  dataset.  Tahap  awal  yaitu parsing (pemecahan) kata pada dokumen.  Tahap kedua yaitu stopwords dan tahap terakhir adalah stemming . Untuk hasil pengindeksan dokumen dataset dapat dilihat pada lampiran.
2. Pembobotan kata term weighting .
Pada tahap ini adalah menjelaskan hasil perhitungan pembobotan kata sebelumnya.  Dalam pembobotan kata term weighting terdapat dua hal yang penting yaitu Term Frequency (tf) dan Inverse Document Frequency (idf). a. Term  Frequency (tf)  merupakan  frekuensi  kemunculan term (t)  pada  dokumen  (d)  dapat  dilihat  pada persamaan 1 berikut.
𝑡𝑓(𝑑, 𝑡) = 𝑓(𝑑, 𝑡) (1)
Hasil pembobotan kata Term Frequency pada seluruh dokumen dataset dapat dilihat pada lampiran.
b. Inverse Document Frequency (idf) merupakan pengurangan diminasi term yang sering muncul diberbagai dokumen. Faktor (idf) dari term (t) dalam sebuah dokumen dapat dilihat dari persamaan 2 berikut. 𝑖𝑑𝑓(𝑡) = log⁡( 𝑛 𝑑𝑓(𝑡) ) (2)
Hasil pembobotan kata Inverse Document Frequency (idf) pada seluruh dokumen dataset dapat dilihat pada lampiran.
c. Term  frequency-inverse  document  frequency merupakan  perkalian  antara  (tf)  dan  (idf)  yang  dapat menghasilkan performansi yang lebih baik. Kombinasi bobot dari term (t) pada dokumen (d) dapat dilihat dari persamaan 3 berikut.
𝑡𝑓 − 𝑖𝑑𝑓(𝑑, 𝑡) = 𝑡𝑓(𝑑, 𝑡)𝑥⁡𝑖𝑑𝑓(𝑡) (3)
Hasil pembobotan kata Termfrequency-Inverse document frequency (tf-idf) pada seluruh dokumen dataset dapat dilihat pada lampiran.
3. Ukuran kemiripan Similariy Measure
Salah satu ukuran kemiripan teks yang populer adalah cosine similarity , ukuran ini menghitung nilai cosinus sudut antara dua vektor. persamaan cosine similarity dapat dilihat pada persamaan 4 berikut.
𝑠𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑡𝑦⁡(𝑑, 𝑞) = 𝑑.𝑞 ||𝑑||.||𝑞|| (4)
Pada kasus ini query yang digunakan adalah [’hukum’,’salat’,’duha’] sehingga, untuk hasil ukuran kemiripan pada query tersebut dapat dilihat pada lampiran.

## 3.4 Answer Selection
Pada tahap ini answer selection menerima dokumen kandidat jawaban yang diperoleh pada proses search engine . Kemudian akan dilakukan proses selanjutnya untuk menghasilkan jawaban. Dalam tahapan ini terdapat alur kerja sebagai berikut [7] .

## 1. Sentence Segmentation
Tahap  awal  seleksi  jawaban  adalah  segmentasi  kalimat.  Diketahui  dari  proses search  engine sebelumnya bahwa, pada  dokumen  02  yang menjadi dokumen  kandidat jawaban.  Sehingga  dilakukan proses segmentasi seperti berikut :
Tabel 1. Hasil Sentence Segmentation Kalimat ke- Hasil Segmentasi Kalimat Kalimat 1 salat duha adalah salat yang dilakukan orang muslim diwaktu duha.
Kalimat 2 hukum salat duha adalah sunnah. Kalimat 3 waktu salat duha adalah ketika matahari mulai naik kurang lebih tujuh hasta sejak terbitnya hingga waktu zuhur.
Kalimat 4 jumlah rakaat salat duha minimal dua rakaat dan maksimal duabelas rakaat.
Kalimat 5
dan dilakukan dalam satuan dua rakaat sekali salam.

## 2. Number Of Keywords
Setelah dilakukan segmentasi kalimat pada dokumen kandidat, tahap selanjutnya adalah menentukan apakah kalimat tersebut memenuhi  syarat sebagai kandidat jawaban  yang ditentukan dari jumlah kata kunci dengan menggunakan persamaan 5.
𝑀 ≥ √[𝐾 − 1] + 1 (5)
Dengan : K = jumlah kata kunci atau keywords pada pertanyaan M = jumlah kata kunci atau keywords yang juga terdapat pada kalimat yang menjadi kandidat jawaban. Kalimat akan dibuang jika jumlah keywords yang terdapat pada kalimat tidak memenuhi kondisi diatas. Jika memenuhi kondisi maka dilakukan perhitungan skor dengan rumus persamaan 6 berikut.
𝑆𝑘𝑜𝑟 = ⁡ 𝑀 𝐾 ⁡𝑥⁡10 (6)
Sehingga didapatlah hasil perhitungan dengan keywords [‘hukum’,’salat’,’duha’] yang memenuhi persamaan tersebut. 𝑀 ≥ [3 − 1] + 1 = 2,41
a. Kalimat 1  : 4⁡ ≥ 2,41 Kandidat kalimat
b. Kalimat 2  : 3 ≥ 2,41 Kandidat kalimat
c. Kalimat 3  : 2⁡ ≥ 2,41
d. Kalimat 4  : 2⁡ ≥ 2,41 e. Kalimat 5  : 0⁡ ≥ 2,41
Dilihat dari perhitungan diatas bahwa kalimat 1 dan kalimat 2 menjadi kandidat kalimat jawaban.
3. Hit Position
Pada proses number of keyword didapat skor pada masing-masing kandidat jawaban.  Pada proses hit position jawaban dilakukan pengurutan berdasarkan skor yang sudah diperoleh.  Contoh pengurutan skor berdasarkan data hasil number of keyword .
a. Kalimat 1  : [13.00] salat duha adalah salat yang dilakukan orang muslim diwaktu duha
b. Kalimat 2  : [10.00] hukum salat duha adalah sunnah
4. Named Entity Recognation
Named Entity Recognation dilakukan untuk mendapatkan proses ekstraksi informasi berupa jenis named entity pada teks [1]. Ada lima jenis tipe named entity pada penelitian ini yaitu OBJECT, TIME, COUNT, PERSON dan  LOCATION.  Kemudian  kandidat  kalimat  pada  tahap  sebelumnya  dilakukan  proses  NER  untuk menghasilkan tipe named entity . Sehingga didapatkan hasil NER dari kandidat kalimat sebagai berikut1.
a. NER : [”Diwaktu Duha”,”TIME”]
b. NER : [”Hukum Salat”,”OBJECT”]
Selanjutnya,  proses  hasil named  entity dilakukan  pencocokan  dengan  kata  tanya  yang  telah  disimpan sebelumnya. Diketahui kata tanya  yang disimpan sebelumnya adalah ”Apa” kata tanya apa merupakan tipe named entity dari OBJECT. Sehingga kandidat kalimat yang mengandung named entity OBJECT diambil untuk dilakukan proses ektraksi jawaban pada tahap answer extraction .
5. Answer Extraction
Tahap answer extraction akan  menghasilkan ekstraksi  jawaban dari kandidat kalimat kemudian akan diubah menjadi pola jawaban yang telah dibuat sebelumnya. Untuk pola jawaban yang telah dibuat dapat dilihat pada lampiran. Diketahui pola jawaban untuk pertanyaan ”Apa hukum salat duha” adalah
Pola Jawaban : (OBJECT) < T >< C >< C > adalah < P >
Pada pola jawaban tag < P > merupakan potongan kalimat yang akan diekstrak menjadi jawaban. Sehingga dari kalimat 2 didapatkan jawaban dari hasil ekstrak < P > sebagai berikut.
Jawaban : hukum salat duha adalah sunnah

## 4.   IMPLEMENTASI
Performansi dari sebuah Qusetion Answering System diukur dengan melakukan evaluasi terhadap jawaban yang dikembalikan sebagai output dari input pertanyaan. Question Answering System merupakan evaluasi berskala besar terhadap sistem yang mengembalikan jawaban bukan daftar dokumen sebagai respon atas sebuah pertanyaan [10] . Adapun spesifikasi dari perancangan Question Answering System adalah sebagai berikut :
1. Pada penelitian ini disediakan 110 pertanyaan dan memiliki jawaban.
2. Sebagai sumber  informasi, digunakan kumpulan  dokumen dari  buku ensiklopedia hukum  islam dan artikel internet.

## 4.1 Hasil Pengujian
Proses  terakhir  dalam  penelitian  ini  adalah  evaluasi,  metode  yang  diusulkan  akan  dievaluasi  tingkat  keakura- tannya.  Data  hasil  evaluasi  dapat  dilihat  pada  lampiran  daftar tabel  8.  Berikut  hasil  dari  beberapa  testing  yang dilakukan dapat dilihat pada tabel 2 dan 3.
Tabel 2 . Hasil Pengujian Menggunakan NER
True False Total Pertanyaan Persentase Apa 19 11 30 63.3% Kapan 13 7 20 65% Berapa 22 9 30 73.3% Siapa 13 7 20 65% Dimana 4 6 10 40% Total 71 39 110 64.5% Tabel 3. Hasil Pengujian tanpa NER True False Total Pertanyaan Persentase Apa 7 23 30 23.3% Kapan 2 18 20 10% Berapa 16 14 30 53.5% Siapa 6 14 20 30% Dimana 3 7 10 30% Total 34 76 110 30.9%
Dari hasil pengujian tersebut kemudian dihitung nilai akurasi dengan menggunakan rumus 7.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = ⁡ 𝐽𝑎𝑤𝑎𝑏𝑎𝑛⁡𝐵𝑒𝑛𝑎𝑟 𝑇𝑜𝑡𝑎𝑙⁡𝑃𝑒𝑟𝑡𝑎𝑛𝑦𝑎𝑎𝑛 𝑥⁡100%
(7)
Berikut hasil akurasi dengan penggunaan Named Entity Recognation dan tanpa menggunakan Named Entity Recognation dari penelitian ini.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = ⁡ 71 110 𝑥⁡100% = 64,5% 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = ⁡ 34 110 ⁡𝑥⁡100% = 30,9%

## 4.2 Analisis Hasil Pengujian
Dari hasil pengujian yang dilakukan dengan 110 sampel pertanyaan didapatkan 71 jawaban benar dan 39 jawaban salah  dengan  menggunakan named  entity .  Dari  hasil  analisis  tersebut  didapatkan  beberapa  faktor  yang menyebabkan jawaban dari pertanyaan yang dinputkan salah.
1. Sistem  tidak  mengeluarkan  jawaban  dikarenakan  pada  proses number of  keywords tidak  menghasilkan  kan- didat  kalimat  sehingga  tidak  dapat  dilakukan  proses  ektrak  jawaban.  Hal  ini  dapat  diatasi  dengan  inputan pertanyaan yang lebih spesifik. Selain itu, sistem tidak mengeluarkan jawaban dikarenakan named entity yang tidak spesifik sehingga tidak dapat mengekstrak jawaban dari kandidat kalimat yang didapatkan. Hal ini dapat diatasi dengan pengembangan model named entity
2. Kandidat  jawaban  dapat  diekstrak  oleh  sistem  namun  mengeluarkan  hasil  jawaban  yang  banyak.  Ini  dise- babkan  karena  kandidat  kalimat  memiliki  pola  yang  sama  dengan  pola  jawaban  yang  telah  dibuat.  Untuk meminimalisir permasalahan ini dapat dilakukan dengan pengembangan pola jawaban.
Dari hasil pengujian tanpa menggunakan Named Entity didapatkan hasil yang rendah dikarenakan kalimat kandidat jawaban  memiliki  pola  yang  sama  dengan  pola  jawaban,  sehingga  akan  mengeluarkan  semua  jawaban  sesuai dengan pola yang telah dibuat sebelumnya. Selain itu, jika sistem mengeluarkan jawaban kosong maka pada proses number of keywords yang tidak menghasilkan kandidat kalimat dan named entity yang belum spesifik.

## 5.   KESIMPULAN
Setelah dilakukannya analisis Question Answering System dengan metode Pattern Based Approach pada dataset hukum islam yang bersumber dari buku ensiklopedia hukum islam dan internet maka dapat disimpulkan sebagai berikut :
1. Secara umum, metode Pattern Based Approach dapat diterapkan untuk rancangan Question Answering System pada dataset hukum islam dengan kategori pertanyaan yaitu orang, waktu, tempat, objek dan jumlah.
2. Hasil penelitian ini berupa jawaban dari pertanyaan yang diajukan
3. Semakin spesifik/unik pertanyaan yang diajukan maka semakin baik jawaban yang diberikan oleh sistem.
4. Performansi dari sistem dapat ditingkatkan dengan pengembangan pola. Dimana semakin banyak pola yang dikembangkan maka semakin besar kemungkinan sistem akan menemukan kembali informasi.
5. Diharapkan  pada  penelitian  selanjutnya  mampu  menganalisa  lebih  dalam  tentang Natural  Language Processing (NLP) khususnya NER, diperlukan pengembangan model NER lebih spesifik agar hasil ekstrak jawaban akan mendapatkan hasil yang baik.

## REFERENCES
[1] S. Amarappa and S. Sathyanarayana. Kannada named entity recognition and classification (nerc) based on multinomial na \ ” ive bayes (mnb) classifier. arXiv preprint arXiv:1509.04385 ,  2015.
[2] R. Baeza-Yates, B. Ribeiro-Neto, et al. Modern information retrieval , volume 463. ACM press New York, 1999.
[3] T. Dong, U. Furbach, I. Glo¨ckner, and B. Pelzer.  A natural language question answering system as a partici- pant in human q&a portals. In IJCAI Proceedings-International Joint Conference on Artificial Intelligence , volume 22, page 2430, 2011.
[4] M.  A.  Greenwood  and  H.  Saggion.  A  pattern  based  approach  to  answering  factoid,  list  and  definition  qu-  estions.  In Coupling approaches, coupling media and coupling languages for information retrieval , pages 232–243. LE CENTRE DE HAUTES ETUDES INTERNATIONALES D’INFORMATIQUE DOCUMEN- TAIRE, 2004.
[5] C. D. Manning, C. D. Manning, and H. Schu¨tze. Foundations of statistical natural language processing . MIT press, 1999.
[6] N. Schlaefer, P. Gieselmann, and G. Sautter. The ephyra qa system at trec 2006.
[7] N. Schlaefer, J. Ko, J. Betteridge, M. A. Pathak, E. Nyberg, and G. Sautter. Semantic extensions of the ephyra qa system for trec 2007. In TREC , volume 1, page 2, 2007.
[8] T. Strzalkowski and S. Harabagiu. Advances in open domain question answering , volume 32. Springer Science & Business Media, 2006.
[9] H. Toba and M. Adriani. Pattern based approach in indonesian question-answering system. University of Indonesia, Bandung , 2010.
[10] E. M. Voorhees. The trec question answering track. Natural Language Engineering , 7(4):361–378, 2001.