Poco después de la consolidación en el poder de Hitler, en la noche de los cuchillos largos, el canciller ordenó a Speer tomar varios trabajadores e ir al edificio que albergaba las oficinas del vicecanciller Franz von Papen para empezar su conversión en un cuartel de seguridad, a pesar de estar aún ocupado por funcionarios de Von Papen.