"The X Factor" despertó opiniones divergentes entre los fanáticos: algunos lo consideran un álbum aburrido, lento y sin energía; mientras otros rescatan la potencia de gran parte de sus canciones y las nuevas variantes compositivas que explora, como por ejemplo la estructura "introducción acústica - parte principal de la canción - outro acústica" que, ya con Dickinson de vuelta, el grupo seguiría explorando (lo que se aprecia particularmente en los cinco últimos trabajos de la banda: "Brave New World", "Dance of Death", "A Matter of Life and Death" "The Final Frontier" y "The Book of Souls").