Fyrst Karl zu Schwarzenberg bor i Sveits, i familiens stamslott Schloss Schwarzenberg i Mittelfranken i Tyskland, i borgen Orlík nad Vltavou i Böhmen, i slottet Murau i Steiermark i Østerrike og i Palais Schwarzenberg i Wien. Han betegnet seg som sentraleuropeer med sveitsisk pass.