Hilde Speer ble født 17. april 1936 i Berlin. Hun er datter av Albert Speer (1905-1981) som var rustningsminister for Adolf Hitler.