En 1854 Carlos Fernando se casó con la viuda de Fernando de Este (1821-1849), la archiduquesa Isabel de Austria-Este (1831-1903), hija del archiduque José de Austria, Palatino de Hungría, con la que tuvo 6 hijos: