Im Nürnberger Kriegsverbrecherprozess (1945–1946) wurde Speer am 1. Oktober 1946 wegen Kriegsverbrechen und Verbrechen gegen die Menschlichkeit zu 20 Jahren Gefängnis verurteilt, die er als Häftling Nr. 5 im alliierten Kriegsverbrechergefängnis Spandau verbrachte. Seine langjährige Sekretärin Annemarie Kempf hatte als Zeugin durch positive Aussagen und gesammeltes Entlastungsmaterial versucht, das Urteil zu mildern. Der Todesstrafe entkam Speer nur sehr knapp. Zunächst votierten der sowjetische und der amerikanische Richter für Tod durch den Strang, während der französische sowie der britische Richter eine Haftstrafe verhängen wollten. Da eine Mehrheit notwendig war, musste später die Abstimmung wiederholt werden, in der sich der amerikanische Richter schließlich umstimmen ließ.