Karl Felix var ellevte barn og femte sønn av Viktor Amadeus III av Sardinia og Maria Antonietta av Bourbon. Besteforeldrene på morsiden var Filip V av Spania og Elizabeth Farnese. Karl Felix var en yngre bror av Karl Emmanuel IV av Sardinia og Viktor Emmanuel I av Sardinia.