I et brev til Hélène Jeanty, enken etter en belgisk motstandsmann, innrømmet Speer at han hadde vært tilstede ved Himmlers tale i Posen 4. og 6. oktober 1943 der det gikk klart frem at regimet var i ferd med å utrydde jødene. Under rettssaken hevdet Speer at han ikke var tilstede under Himmlers tale, noe som trolig medvirket til at han unngikk dødsstraff. I selvbiografien fra 1969 og i intervjuer etter krigen nektet han for kjennskap til jødenes skjebne. I september 1942 var Speer involvert i utvidelsen av brakkeanleggene i Auschwitz i forbindelse med (naziregimets omskriving av deportasjonen av jødene). Han skjøv fra seg ansvaret for bruk av millioner slavearbeidere i rustningsindustrien, inkludert i Mittelbau-Dora.