Jedním z jeho bratrů byl polní maršál generalissimus Karel Filip ze Schwarzenbergu (1771–1820), vrchní velitel koaliční armády proti Napoleonovi, v „Bitvě národů“ u Lipska. Jeho synovci pak byli rakouský ministerský předseda Felix ze Schwarzenbergu (1800–1852) a jeho bratr kníže, kardinál a arcibiskup pražský Bedřich ze Schwarzenbergu (1809–1885).