Han var sønn av industriherren Günther Quandt og Magda Ritschel (som senere ble gift med Joseph Goebbels). Han vokste opp sammen med moren etter foreldrenes skilsmisse, men sto hele tiden på vennskapelig fot med faren. Han tjenestegjorde under andre verdenskrig i Luftwaffe hvor han etter hvert ble løytnant. Ved krigens slutt satt han i britisk krigsfangenskap.