Albert Speer nació en Mannheim en el seno de una familia adinerada de clase media–alta, segundo de los tres hijos de Luise Máthilde Wilhelmine (Hommel) y Albert Friedrich Speer.