Quandt werd in 1921 geboren als zoon van ondernemer Günther Quandt en Magda Goebbels. Zijn ouders scheidden in 1929. Zijn moeder zou in 1931 hertrouwen met Joseph Goebbels, die zes kinderen met haar kreeg. Quandt zou vanaf 1934 opgroeien bij zijn moeder. Hij nam deel aan de Tweede Wereldoorlog en nam in 1941 deel aan de Landing op Kreta. Na de Tweede Wereldoorlog was hij het enige overlevende kind van Magda Goebbels.