I 1982 begynte Speers image som den uskyldige, velmenende idealist å slå sprekker da den tyske historikeren ga ut en bok der han dokumenterte at Speers «selv-iscenesettelse» under selve rettssaken og i årene etter hans løslatelse ikke bygget på faktiske forhold, men at Speer derimot var en av de drivende kreftene bak utnyttelsen av «mindreverdige» slavearbeidere i den tyske krigsindustrien. Samtidig viser Schmidts bok at Speer, stikk i strid med sine egne påstander, hadde meget god innsikt i forholdene i og omkring tyske konsentrasjonsleirer, og at han flere ganger bebreidet SS for ikke å gå hardt nok frem overfor de innsatte. Speer hadde brukt sitt siste leveår på å prøve å forhindre at denne informasjonen ble offentliggjort. Imidlertid er det stadig uvisst hvorvidt Speer kjente til jødeutryddelsene. Selv om han kanskje ikke kjente detaljene, er det sannsynlig at Speer med sitt intellekt og sin posisjon som en av det nasjonalsosialistiske Tysklands mest sentrale maktpersoner, må ha undret seg over hva som egentlig foregikk.