Por otra parte, Speer se encontró incapaz de retomar la relación con sus hijos, incluso con su hijo Albert Speer Jr., que también era arquitecto.