Numele lui Speer a fost inclus pe lista unui guvern de după Hitler imaginată de conspiratorii din spatele atentatului de asasinare a lui Hitler de la 14 iulie 1944. Lista avea un semn de întrebare și o notă „va fi obținut” alături de numele lui care e probabil că l-ar fi salvat de execuție după eșecul atentatului.