# Robust Cross-Validation of Predictive Models Used in Credit Default Risk
## 7 Results and Discussion
### Model Selection
\begin{table}
\begin{tabular}{c c c c c c c c c c} \hline \hline \multirow{2}{*}{**Validator**} & \multicolumn{2}{c}{**All Datasets**} & \multicolumn{2}{c}{**Taiwan**} & \multicolumn{2}{c}{**German**} & \multicolumn{2}{c}{**Australian**} & \multicolumn{2}{c}{**Lending Club**} \\ \cline{2-10}  & **Error** & **Rank** & **Error** & **Rank** & **Error** & **Rank** & **Error** & **Rank** & **Error** & **Rank** \\ \hline CV:DOB-WOE/5/50 & 0.1664 & 1 & 0.0992 & 1 & 0.1111 & 1 & 0.1192 & 1 & 0.3362 & 1 \\ CV:DOB-SCV/5/50 & 0.1677 & 2 & 0.1004 & 2 & 0.1130 & 2 & 0.1189 & 1 & 0.3388 & 2 \\ CV:DB-SCV1/5/50 & 0.1714 & 3 & 0.1083 & 4 & 0.1131 & 2 & 0.1210 & 2 & 0.3430 & 3 \\ CV:DB-SCV2/5/50 & 0.1722 & 3 & 0.1090 & 5 & 0.1126 & 2 & 0.1223 & 3 & 0.3448 & 3 \\ CV:DB-WOE2/5/50 & 0.1726 & 4 & 0.1081 & 4 & 0.1125 & 1 & 0.1231 & 4 & 0.3468 & 3 \\ CV:SCV/5/50 & 0.1730 & 4 & 0.1100 & 6 & 0.1134 & 2 & 0.1206 & 2 & 0.3481 & 4 \\ CV:kfold/5/50 & 0.1731 & 4 & 0.1100 & 6 & 0.1133 & 2 & 0.1207 & 2 & 0.3484 & 4 \\ HD:FMCCV/0/1000 & 0.1732 & 4 & 0.1111 & 7 & 0.1141 & 3 & 0.1207 & 2 & 0.3468 & 4 \\ CV:KSCV/5/50 & 0.1732 & 4 & 0.1099 & 5 & 0.1133 & 2 & 0.1215 & 3 & 0.3481 & 4 \\ CV:ENkfold/0/50 & 0.1732 & 5 & 0.1087 & 4 & 0.1130 & 2 & 0.1207 & 2 & 0.3503 & 4 \\ HO:MCCV/0.2/1000 & 0.1735 & 6 & 0.1116 & 7 & 0.1144 & 4 & 0.1208 & 2 & 0.3474 & 4 \\ CV:RndCV/0/50 & 0.1735 & 7 & 0.1093 & 5 & 0.1137 & 3 & 0.1212 & 2 & 0.3497 & 4 \\ HO:FSMCCV/0/1000 & 0.1739 & 8 & 0.1117 & 7 & 0.1141 & 3 & 0.1216 & 3 & 0.3483 & 4 \\ HO:SMCCV/0.2/1000 & 0.1740 & 8 & 0.1122 & 8 & 0.1142 & 3 & 0.1220 & 3 & 0.3478 & 4 \\ CV:FUkfold/0/50 & 0.1740 & 9 & 0.1095 & 5 & 0.1139 & 3 & 0.1204 & 2 & 0.3521 & 5 \\ CV:LOOCV & 0.1763 & 9 & 0.1061 & 3 & 0.1204 & 5 & 0.1181 & 1 & 0.3605 & 5 \\ CV:MS-SCV/5/50 & 0.2470 & 9 & 0.2529 & 9 & 0.1483 & 6 & 0.1324 & 5 & 0.4544 & 6 \\ \hline \hline \end{tabular}
\end{table} 
Table 2: Average selection error and ranking of CV methods using \(k=5\) or non-predefined \(k\) value for each credit dataset. An overall ranking is calculated using all the experiments made in all credit datasets as the final ranking. \begin{table}
\begin{tabular}{c c c c c c c c c c} \hline \hline \multirow{2}{*}{**Validator**} & \multicolumn{2}{c}{**All Datasets**} & \multicolumn{2}{c}{**Taiwan**} & \multicolumn{2}{c}{**German**} & \multicolumn{2}{c}{**Australian**} & \multicolumn{2}{c}{**Lending Club**} \\ \cline{2-10}  & **Error** & **Rank** & **Error** & **Rank** & **Error** & **Rank** & **Error** & **Rank** & **Error** & **Rank** \\ \hline CV:DOB-WOE/10/50 & 0.1661 & 1 & 0.1006 & 1 & 0.1120 & 1 & 0.1183 & 1 & 0.3337 & 1 \\ CV:DOB-SCV/10/50 & 0.1690 & 2 & 0.1022 & 2 & 0.1129 & 2 & 0.1184 & 1 & 0.3424 & 2 \\ CV:DB-SCV1/10/50 & 0.1716 & 3 & 0.1073 & 4 & 0.1127 & 2 & 0.1200 & 2 & 0.3462 & 2 \\ CV:SCV/10/50 & 0.1721 & 4 & 0.1084 & 5 & 0.1131 & 2 & 0.1203 & 2 & 0.3466 & 2 \\ CV:DB-WOE2/10/50 & 0.1721 & 4 & 0.1068 & 3 & 0.1112 & 1 & 0.1232 & 4 & 0.3473 & 2 \\ HO:MCCV/0.1/1000 & 0.1724 & 4 & 0.1115 & 7 & 0.1142 & 4 & 0.1218 & 4 & 0.3422 & 2 \\ CV:RSCV/10/50 & 0.1726 & 4 & 0.1084 & 5 & 0.1131 & 2 & 0.1209 & 3 & 0.3481 & 3 \\ CV:RJcd10/50 & 0.1729 & 4 & 0.1089 & 6 & 0.1132 & 3 & 0.1204 & 2 & 0.3490 & 3 \\ CV:DB-SCV2/10/50 & 0.1729 & 4 & 0.1075 & 4 & 0.1116 & 1 & 0.1224 & 4 & 0.3500 & 3 \\ HCV:FMCCV/0/1000 & 0.1732 & 5 & 0.1111 & 7 & 0.1141 & 4 & 0.1207 & 3 & 0.3468 & 2 \\ CV:FNkfold/0/50 & 0.1732 & 5 & 0.1087 & 5 & 0.1130 & 2 & 0.1207 & 3 & 0.3503 & 3 \\ CV:RndCV/0/50 & 0.1735 & 5 & 0.1093 & 6 & 0.1137 & 3 & 0.1212 & 3 & 0.3497 & 3 \\ HO:FSMCCV/0/1000 & 0.1739 & 6 & 0.1117 & 7 & 0.1141 & 4 & 0.1216 & 4 & 0.3483 & 3 \\ CV:FUkfold/0/50 & 0.1740 & 6 & 0.1095 & 6 & 0.1139 & 3 & 0.1204 & 2 & 0.3521 & 3 \\ CV:IMCCV/0.1/1000 & 0.1750 & 6 & 0.1138 & 8 & 0.1152 & 5 & 0.1216 & 4 & 0.3494 & 3 \\ CV:LOOCV & 0.1763 & 6 & 0.1061 & 3 & 0.1204 & 6 & 0.1181 & 1 & 0.3605 & 4 \\ CV:MS-SCV/10/50 & 0.2219 & 6 & 0.2236 & 9 & 0.1237 & 7 & 0.1229 & 4 & 0.4173 & 5 \\ \hline \hline \end{tabular}
\end{table}