Carlos Felipe era hijo del Príncipe Johann Nepomuk Anton von Schwarzenberg y María Leonor, condesa de Öttingen-Wallerstein.