Som rustningsminister lykkedes det for Speer at øge den tyske krigsproduktion til langt hen i 1944 på trods af massive og ødelæggende bombardementer fra De Allierede. Efter krigen blev han stillet for krigsforbryderdomstolen i Nürnberg og blev idømt 20 års fængsel for sin rolle i det nazistiske styre, først og fremmest på grund af anvendelsen af tvangsarbejdere. Som "nazisten, der sagde undskyld", påtog han sig ved Nürnbergprocessen og i sine udgivne erindringer et generelt ansvar for de forbrydelser, der var begået af det nazistiske styre i Tyskland. Der hersker dog fortsat usikkerhed om, hvorvidt Speer spillede en konkret rolle i nazisternes forfølgelse af jøder og om, hvor meget han kendte til Holocaust. Han udstod det meste af sin straf i Spandau-fængslet i Vestberlin.