Speer bol nacistami podozrievaný, že bol súčasťou Stauffenbergovho pokusu o prevrat, ktorého cieľom bola likvidácia Adolfa Hitlera (20. júla 1944). Aktéri sprisahania plánovali, prevzatie moci a začiatok rokovaní o mieri so západnými Spojencami. Speer bol na zozname týchto sprisahancov uvedený ako možný minister v novej vláde ale s otáznikom. Aj tento fakt, napriek nedostatku akýchkoľvek dôkazov, bol dôvodom, že ešte v priebehu roku 1944 bol Speer nahradený v hláseniach Hitlerovi svojim zástupcom Karlom Saurom. Práve Saura Hitler označil za Speerovho nástupcu vo funkcii ministra vo svojom Politickom závete z 29. apríla 1945. Hitler predpokladal správne: v posthitlerovskom Nemecku očakával Speer pre seba významnú funkciu pri rekonštrukcii Nemecka. V tom čase ho ani nenapadlo, že by sa mal cítiť zodpovedný a že bude trestaný.