Narodil se 10. prosince 1937 v Praze-Bubenči. Je nejstarším synem heraldika a historika Karla VI. knížete ze Schwarzenbergu (1911–1986) a jeho manželky Antonie, rozené princezny z Fürstenbergu (1905–1988). Pochází z mladší (sekundogeniturní), tzv. orlické větve rodu Schwarzenbergů, založené Karlem Filipem (1771–1820), mladším synem Jana Nepomuka, V. knížete ze Schwarzenbergu, a slavným vojevůdcem (vítězem tzv. Bitvy národů u Lipska v roce 1813). Své dětství strávil na zámcích Orlík a Čimelice. V Čimelicích navštěvoval též národní školu. Po komunistickém převratu roku 1948 byl jeho rodině zabaven majetek orlické větve a i proto se uchýlili do emigrace do Rakouska. Tam nejdříve žili nedaleko Salzburgu u jeho babičky z matčiny strany, která je i živila. O několik let později se přestěhovali do bytu v ulici Jacquingasse ve Vídni, který se brzy proměnil ve společenský salon. V mládí se Schwarzenberg čile věnoval vídeňskému kavárenskému životu.