# Abstractive vs. Extractive Summarization: An Experimental Review
## 3 Evaluation
### Experimental Setup and Evaluation Results
#### 3.2.2 Evaluation Results
\begin{table}
\begin{tabular}{c c c c c c c} \hline \hline
**Model** & **R1** & **R2** & **RL** & **RLSum** & **B1** & **B2** & **SB** \\ \hline \multirow{8}{*}{Extractive} & _TopicRank_ & **0.1900** & **0.0279** & **0.1354** & **0.1354** & **0.1291** & **0.0284** & **0.0271** \\  & _e-LexRank_ & 0.1841 & 0.0277 & 0.1325 & 0.1325 & 0.1224 & 0.0269 & 0.0267 \\  & _Luln_ & 0.1812 & 0.0259 & 0.1293 & 0.1293 & 0.1225 & 0.0275 & 0.0240 \\  & _TextRank_ & & & & & & \\  & _(sumy)_ & 0.1802 & 0.0260 & 0.1304 & 0.1304 & 0.1222 & 0.0278 & 0.0232 \\  & _TextRank_ & & & & & & \\  & _(pyTextRank)_ & & & & & & & \\  & _LxRank_ & 0.1690 & 0.0230 & 0.1224 & 0.1224 & 0.1152 & 0.0229 & 0.0249 \\  & _LxRank_ & & & & & & \\  & _PostitRank_ & 0.1778 & 0.0250 & 0.1290 & 0.1290 & 0.1207 & 0.0258 & 0.0265 \\  & _PostitRank_ & 0.1627 & 0.0194 & 0.1188 & 0.1188 & 0.1118 & 0.0204 & 0.0246 \\  & _LSA_ & 0.1526 & 0.0169 & 0.1101 & 0.1101 & 0.1057 & 0.0165 & 0.0249 \\ \hline \multirow{8}{*}{Abstractive} & _PEGASUS-XSum_ & **0.4343** & **0.2189** & **0.3617** & **0.3617** & **0.3269** & **0.2148** & **0.1452** \\  & _disllBART-XSum-12-6_ & 0.4237 & 0.2048 & 0.3500 & 0.3500 & 0.3208 & 0.2041 & 0.1362 \\ \cline{1-1}  & _BART-large-XSum_ & 0.4223 & 0.2009 & 0.3450 & 0.3450 & 0.3260 & 0.2055 & 0.1347 \\ \cline{1-1}  & _mT5-multilingual_ & 0.3623 & 0.1491 & 0.2927 & 0.2927 & 0.2586 & 0.1462 & 0.0946 \\ \cline{1-1}  & _BART-large-CNN-_ & & & & & & \\ \cline{1-1}  & _BART-large-CNN-12-6_ & 0.2097 & 0.0441 & 0.1406 & 0.1406 & 0.1239 & 0.0417 & 0.0227 \\ \cline{1-1}  & _BART-large-CNN-12-6_ & 0.2011 & 0.0348 & 0.1322 & 0.1322 & 0.1170 & 0.0333 & 0.0199 \\ \cline{1-1}  & _disllBART-CNN-12-6_ & 0.1999 & 0.0355 & 0.1311 & 0.1311 & 0.1112 & 0.0335 & 0.0196 \\ \cline{1-1}  & _PEGASUS-_ & & & & & & \\ \cline{1-1}  & _PEGASUS-_ & & & & & & & \\ \cline{1-1}  & _PEGASUS-_ & & & & & & \\ \cline{1-1}  & _PEGASUS-_ & & & & & & \\ \cline{1-1}  & _PEGASUS-_ & & & & & & \\ \cline{1-1}  & _PEGASUS-_ & & & & & & \\ \cline{1-1}  & _BART-large-CNN-12-6_ & 0.1999 & 0.0356 & 0.1339 & 0.1339 & 0.1247 & 0.0368 & 0.0209 \\ \cline{1-1}  & _BART-large-CNN-12-6_ & 0.1972 & 0.0339 & 0.1303 & 0.1303 & 0.1167 & 0.0340 & 0.0197 \\ \cline{1-1}  & _PEGASUS-large_ & & & & & & & \\ \cline{1-1}  & _PEGASUS-_ & & & & & & & \\ \cline{1-1}  & _PEGASUS-_ & & & & & & \\ \cline{1-1}  & _PEGASUS \begin{table}
\begin{tabular}{c c c c c c c c c} \hline \hline  & **Model** & **R1** & **R2** & **RL** & **RLSum** & **B1** & **B2** & **SB** \\ \hline \multirow{8}{*}{Extractive} & _TopicRank_ & **0.1770** & **0.0284** & **0.1290** & **0.1290** & **0.1195** & 0.0295 & **0.0270** \\  & _Luhn_ & 0.1724 & 0.0284 & 0.1233 & 0.1233 & 0.1190 & **0.0311** & 0.0255 \\  & _e-LexRank_ & 0.1703 & 0.0265 & 0.1264 & 0.1264 & 0.1111 & 0.0260 & 0.0268 \\  & _TextRank_ & 0.1689 & 0.0263 & 0.1215 & 0.1215 & 0.1164 & 0.0290 & 0.0239 \\  & _TextRank_ & 0.1534 & 0.0228 & 0.1145 & 0.1145 & 0.1036 & 0.0237 & 0.0246 \\  & _LexRank_ & 0.1673 & 0.0250 & 0.1223 & 0.1223 & 0.1131 & 0.0261 & 0.0262 \\  & _LSA_ & 0.1474 & 0.0179 & 0.1095 & 0.1095 & 0.0994 & 0.0172 & 0.0248 \\  & _PositionRank_ & 0.1304 & 0.0174 & 0.0990 & 0.0990 & 0.0864 & 0.0169 & 0.0229 \\ \hline \multirow{8}{*}{Abstractive} & _BART-large-CNN_ & **0.1834** & **0.0421** & **0.1305** & **0.1305** & 0.1065 & **0.0386** & 0.0228 \\  & _BART-large-XSum_ & 0.1676 & 0.0329 & 0.1274 & 0.1274 & **0.1088** & 0.0300 & **0.0315** \\  & _distlBART-XSum-12-6_ & 0.1697 & 0.0314 & 0.1300 & 0.1300 & 0.1059 & 0.0283 & 0.0313 \\  & _distlBART-CNN-12-6_ & 0.1657 & 0.0340 & 0.1143 & 0.1143 & 0.0924 & 0.0315 & 0.0184 \\  & _PEGASUS-large_ & 0.1617 & 0.0295 & 0.1133 & 0.1133 & 0.0993 & 0.0301 & 0.0203 \\  & _PEGASUS-_ & 0.1596 & 0.0326 & 0.1118 & 0.1118 & 0.0956 & 0.0316 & 0.0169 \\  & _BART-large-CNN_ & 0.1570 & 0.0328 & 0.1088 & 0.1088 & 0.0883 & 0.0304 & 0.0167 \\  & _PEGASUS-XSum_ & 0.1428 & 0.0228 & 0.1135 & 0.1135 & 0.0779 & 0.0167 & 0.0260 \\  & _PEGASUS-multi\_\_news_ & 0.1063 & 0.0243 & 0.0743 & 0.0743 & 0.0524 & 0.0197 & 0.0095 \\ \hline \hline \end{tabular}
\end{table}