Carlos Fernando fue el cuarto hijo de Segismundo III Vasa y de su esposa, la archiduquesa austriaca Constanza de Habsburgo (hija del archiduque Carlos II de Estiria y de María Ana de Baviera y nieta del emperador Fernando I).