Speer fu arrestato dalle forze alleate a Flensburg subito dopo il termine del conflitto, e processato a Norimberga con l'accusa di aver utilizzato manodopera in condizioni di schiavitù per mandare avanti l'industria bellica tedesca. Speer prese le distanze dalla maggior parte dei gerarchi nazisti con lui sotto processo, sostenendo di essere all'oscuro delle atrocità naziste e pronto a espiare il suo «grave» errore di valutazione dichiarandosi apertamente colpevole delle accuse a lui rivolte. Venne condannato a venti anni di reclusione, da scontare nel carcere di Spandau, a Berlino Ovest.