## 4 Experimental Result
\begin{table}
\begin{tabular}{l c c c c c c c c c c c c c c} \hline \hline \multirow{2}{*}{**Model**} & \multicolumn{2}{c}{**Comma**} & \multicolumn{2}{c}{**Period**} & \multicolumn{2}{c}{**Question**} & \multicolumn{2}{c}{**Others**} & \multicolumn{2}{c}{**Testing Acc**} \\  & **P** & **R** & **F1** & **P** & **R** & **F1** & **P** & **R** & **F1** & **P** & **R** & **F1** & **P** & **R** & **F1** & **Testing Acc** \\ \hline LSTM+BERTBASE & 0.63 & 0.13 & 0.22 & 0.61 & 0.48 & 0.54 & 0.61 & 0.30 & 0.40 & 0.92 & 0.99 & 0.96 & 0.90 \\ LSTM+BERT\({}_{\text{LARGE}}\) & 0.48 & 0.27 & 0.35 & 0.73 & 0.20 & 0.32 & 0.56 & 0.23 & 0.33 & 0.91 & 0.99 & 0.95 & 0.89 \\ LSTM+XLNetBASE & 0.44 & 0.21 & 0.29 & 0.83 & 0.17 & 0.19 & 0.55 & 0.20 & 0.28 & 0.91 & 0.99 & 0.95 & 0.89 \\ LSTM+XLNet\({}_{\text{LARGE}}\) & 0.45 & 0.40 & 0.41 & 0.84 & 0.29 & 0.32 & 0.54 & 0.28 & 0.37 & 0.93 & 0.99 & 0.96 & 0.90 \\ LSTM+AlBERT\({}_{\text{BASE}}\) & 0.60 & 0.17 & 0.26 & 0.60 & 0.48 & 0.53 & 0.60 & 0.31 & 0.41 & 0.92 & 0.99 & 0.96 & 0.90 \\ LSTM+RoBERT\({}_{\text{BASE}}\) & 0.41 & 0.27 & 0.33 & 0.84 & 0.07 & 0.12 & 0.45 & 0.16 & 0.24 & 0.91 & 0.99 & 0.95 & 0.89 \\ \hline
**LSTM+BERTBASE** & 0.77 & 0.75 & 0.76 & 0.86 & 0.91 & 0.88 & 0.81 & 0.83 & 0.82 & 0.99 & 0.99 & 0.99 & 0.97 \\ \hline
**LSTM+DistilBERT\({}_{\text{BASE}}\)** & 0.42 & 0.04 & 0.07 & 0.62 & 0.07 & 0.12 & 0.53 & 0.05 & 0.09 & 0.87 & 0.99 & 0.94 & 0.87 \\ GRU+BERTBASE & 0.43 & 0.24 & 0.30 & 0.62 & 0.16 & 0.25 & 0.49 & 0.19 & 0.27 & 0.91 & 0.99 & 0.95 & 0.89 \\ GRU+BERT\({}_{\text{LARGE}}\) & 0.46 & 0.17 & 0.25 & 0.75 & 0.19 & 0.31 & 0.58 & 0.18 & 0.27 & 0.90 & 0.99 & 0.95 & 0.90 \\ GRU+XLNetBASE & 0.46 & 0.33 & 0.39 & 0.80 & 0.16 & 0.26 & 0.53 & 0.24 & 0.33 & 0.92 & 0.99 & 0.96 & 0.90 \\ GRU+XLNet\({}_{\text{BASE}}\) & 0.42 & 0.42 & 0.42 & 0.92 & 0.07 & 0.14 & 0.45 & 0.21 & 0.31 & 0.93 & 0.99 & 0.96 & 0.90 \\ GRU+AlBERT\({}_{\text{BASE}}\) & 0.57 & 0.34 & 0.42 & 0.72 & 0.54 & 0.62 & 0.66 & 0.43 & 0.51 & 0.94 & 0.99 & 0.97 & 0.91 \\ GRU+AlBERT\({}_{\text{LARGE}}\) & 0.48 & 0.03 & 0.05 & 0.59 & 0.30 & 0.40 & 0.58 & 0.16 & 0.25 & 0.89 & 0.99 & 0.94 & 0.89 \\ GRU+RoBERT\({}_{\text{BASE}}\) & 0.48 & 0.36 & 0.41 & 0.75 & 0.16 & 0.27 & 0.54 & 0.25 & 0.35 & 0.92 & 0.99 & 0.96 & 0.89 \\ GRU+RoBERT\({}_{\text{BASE}}\) & 0.46 & 0.26 & 0.76 & 0.87 & 0.91 & 0.88 & 0.82 & 0.84 & 0.83 & 0.99 & 0.99 & 0.99 & 0.95 \\ \hline GRU+DistilBERT\({}_{\text{BASE}}\) & 0.41 & 0.19 & 0.25 & 0.66 & 0.10 & 0.17 & 0.47 & 0.14 & 0.21 & 0.90 & 0.99 & 0.95 & 0.88 \\ \hline \hline \end{tabular}
\end{table} 
Table 7: Test experimental results (Amazon reviews). \begin{table}
\begin{tabular}{l c c c c c c c c c c c c} \hline \hline \multirow{2}{*}{**Model**} & \multicolumn{2}{c}{**Comma**} & \multicolumn{2}{c}{**Period**} & \multicolumn{2}{c}{**Question**} & \multicolumn{2}{c}{**Others**} & \multicolumn{2}{c}{**Testing Acc**} \\  & **P** & **R** & **F1** & **P** & **R** & **F1** & **P** & **R** & **F1** & **P** & **R** & **F1** & **Testing Acc** \\ \hline LSTM+BERT\({}_{\text{BASE}}\) & 0.36 & 0.07 & 0.12 & 0.59 & 0.54 & 0.56 & 0.57 & 0.44 & 0.59 & 0.95 & 0.97 & 0.96 & 0.92 \\ LSTM+BERT\({}_{\text{LARGE}}\) & 0.36 & 0.07 & 0.12 & 0.59 & 0.54 & 0.56 & 0.57 & 0.44 & 0.59 & 0.95 & 0.97 & 0.96 & 0.93 \\ LSTM+XLNetBASE & 0.34 & 015 & 0.21 & 0.62 & 0.63 & 0.63 & 0.60 & 0.53 & 0.56 & 0.95 & 0.97 & 0.96 & 0.93 \\ LSTM+XLNet\({}_{\text{LARGE}}