Schwarzenbergs familj flydde från Tjeckoslovakien strax innan det kommunistiska maktövertagande i samband med Pragkuppen 1948. Familjen hade redan schweizisk medborgarskap, men var framför allt bosatt i Österrike. Han var under 1960-talet aktiv i det kristdemokratiska Österrikiska folkpartiet, men blev aldrig österrikisk medborgare.