Etter løslatelsen vurderte Speer å vende tilbake til arkitektbransjen, men han kom frem til at han hadde vært for lenge borte fra arkitektgjerningen; han var ikke faglig oppdatert. Speer forstod dessuten at han ville forbli assosiert med de store byggeprosjektene fra det tredje riket og at det derfor ville bli vanskelig å fremstå som en troverdig moderne arkitekt. I stedet gjorde han karriere av å være det tredje rikets innsidevitne. Speer fremstilte seg selv som urettmessig dømt i Nürnberg fordi han, ifølge seg selv, ikke hadde kjent til Hitler-regimets mørkere sider. Hans offentlige avstandtagen fra den nasjonalsosialistiske tiden gjorde at han for mange tyskere fremstod som et slags moralsk alibi. Speer ble illustrasjonen på forestillingen om at de mange som hadde fulgt Hitler ikke selv hadde skyld i regimets forbrytelser, men snarere var ofre for en folkeforfører. Speer ble en etterspurt mann for massemedia, og skrev selv tre bestselgende bøker med temaer fra sin fortid. Under et besøk i Norge i 1980 ble han intervjuet av NRK (Olav Gran-Olsson). Besøket førte til en heftig debatt da det ble kjent, riktignok etter at han hadde forlatt landet.