En abril, sus rivales por el poder consiguieron privarlo de responsabilidad sobre la construcción, por lo que el arquitecto envió rápidamente a Hitler una amarga carta que concluía con su dimisión.