Con el declive de la Alemania nazi, también decayó su buena estrella política, siendo destituido en 1942 y postergado por el Régimen.