The X Factor despertó opiniones divergentes entre los fans: algunos lo consideran un disco aburrido, lento y sin energía, considerándolo un antes y después en la agrupación inglesa no solo por la salida de Dickinson sino que también por el hecho de que la banda de aquí en adelante dejaría de lado las composiciones de Heavy Metal como propiamente tal para centrarse en ritmos progresivos y largos; mientras otros rescatan la potencia de gran parte de sus canciones y las nuevas variantes compositivas que explora, como por ejemplo la estructura de la introducción acústica que, ya con Dickinson de vuelta, el grupo seguiría explorando (lo que se aprecia particularmente en los cinco últimos trabajos de la banda: Brave New World, Dance of Death, A Matter of Life and Death, The Final Frontier y The Book of Souls).