Op 1 oktober 1946 werd Speer op het Proces van Neurenberg veroordeeld tot twintig jaar gevangenisstraf, vooral vanwege het feit dat onder zijn leiding één miljoen van de in totaal zes miljoen dwangarbeiders uit de bezette gebieden tijdens de oorlogsjaren in de wapenindustrie te werk waren gesteld. Van alle veroordeelde nazikopstukken was hij de enige die zich "verantwoordelijk" verklaarde voor de misdrijven van de nazistaat. Desondanks pleitte hij niet schuldig met als argument dat hij nooit persoonlijk opdrachten ondertekend had om gevangenen te deporteren. Speer schoof zijn volledige schuld af op de Minister van Arbeid, Fritz Sauckel die wel werd opgehangen. Zijn straf zat hij grotendeels uit in de Spandaugevangenis in Berlijn. Op 1 oktober 1966 kwam hij vrij.