Felix zu Schwarzenberg ble født den 2. oktober 1800 i Krummau i Böhmen. Han var andre sønn av fyrst Joseph von Schwarzenberg (død 1833) og bror av kardinalen Friedrich Johannes Jacob Cölestin von Schwarzenberg.