Nürnbergin oikeudenkäynnissä Speer osoitti avointa katumusta ja poikkesi siten muista natsijohtajista. Hän kuitenkin väitti olleensa tietämätön holokaustista ja juutalaisten tuhoamisesta, vaikka olikin käyttänyt keskitysleirivankeja työvoimanaan. Speer tuomittiin pääasiallisesti orjatyövoiman käytöstä 20 vuoden vankeusrangaistukseen Spandaun vankilaan, myöhemmin hänen roolinsa holokaustin toteutuksessa on selvinnyt huomattavasti tätä suuremmaksi. Vapauduttuaan 1966 hän julkaisi useita osin elämäkerrallisia kirjoja ennen kuolemaansa Lontoossa 1981.