Liuchien commited on
Commit
e553130
1 Parent(s): 0b61505

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +19 -1
README.md CHANGED
@@ -2,4 +2,22 @@
2
  license: mit
3
  language:
4
  - zh
5
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  license: mit
3
  language:
4
  - zh
5
+ metrics:
6
+ - accuracy
7
+ - f1
8
+ - EM
9
+ ---
10
+
11
+ ## DRCD dataset
12
+ [台達閱讀理解資料集 Delta Reading Comprehension Dataset (DRCD)](https://github.com/DRCKnowledgeTeam/DRCD) 屬於通用領域繁體中文機器閱讀理解資料集。 DRCD資料集從2,108篇維基條目中整理出10,014篇段落,並從段落中標註出30,000多個問題。
13
+
14
+ ## Available models
15
+ - mT5 (base on **[google/mt5-base](https://huggingface.co/google/mt5-base)**)
16
+
17
+ ## Abstract
18
+ 我們提出了Abstracting from Confusion(AFC),並利用DRCD資料集進行微調,微調10個Epoch。
19
+
20
+ 在此實驗設計中,DRCD基準資料集中的每個問題,會搭配10個和問題最相近的段落,額外還有1個保證包含正確答案的最佳段落(The Best Passage),在BERT閱讀器測試方面,每次進行閱讀理解測試時,是輸入問題和最佳段落,並對比閱讀器預測結果和標準答案之間的差異,計算出F1分數和EM分數。
21
+ 對比閱讀器預測結果和標準答案之間的差異,計算出F1分數和EM分數,分別測試兩個閱讀器,我們可以發現AFC閱讀器的表現並不遜色於BERT閱讀器,甚至在分數表現上更好。
22
+
23
+ 由此可推斷,基於Text-to-Text Generation概念實作出來的Extractor,在混雜資料上的表現,更優於Bert。