Da de tyske nazistene tok kontroll over Böhmen-Mähren i 1938 ble mange av familiens store eiendommer beslaglagt. Han tilbragte de første barneårene på slottet Orlik ved Vltava. Riksprotektor Heydrich kastet familien ut av Orlik i 1941. Faren var opprinnelig antisemitt. Etter andre verdenskrig flyktet famiien til Østerrike der faren begynte som bibliotekar i Salzburg. I Østerrike begynte Karl Schwarzenberg å ta seg av dissidenter fra Tsjekkoslovakia. I 1960 ble han adoptert av slektningen Heinrich og med det arving til eiendommer og titler flere steder i Europa. Ved sitt politiske virke ble han venn av Bruno Kreisky.