Era hijo de Albert Speer (1905-1981), ministro de Armamento y Guerra del Tercer Reich durante la Segunda Guerra Mundial y arquitecto jefe de Adolf Hitler.