Han var sønn av Karl zu Schwarzenberg (1911–1986) og Antonie zu Fürstenberg (1905–1988), og hadde tre søsken: Marie Eleonore von Bredow (født 1936), Karl Friedrich Prinz zu Schwarzenberg (født 1940) og Anna Maria Freifrau von Haxthausen (født 1946).