Speers navn var med på listen over medlemmer i en regering efter Hitler, som konspiratorerne bag "20. juli-attentatet" mod Hitler havde udarbejdet. På listen var der et spørgsmålstegn og en tilføjelse "skal overtales" ud for hans navn, hvilket formentlig reddede ham fra de omfattende udrensninger, der fulgte efter det fejlslagne attentatforsøg.