Karl vermählte sich am 17. Juni 1817 mit der Reichsfreiin Sophia von Pichl (* 16. Juni 1798; † 1864), mit der er fünf Kinder zeugte. Seine Söhne waren Carl Hannibal († 1849), der als k. k. Hauptmann an den Folgen des in der Schlacht von Novara an der Seite seines Vaters durch eine Kanonenkugel erlittenen Verlust eines Beines früh verstarb, und Arthur Aloys Cäsar (* 18. Dezember 1827 in Graz), 1867 k. k. Ratssekretär beim Landesgericht Venedig. Eine Tochter, Ida Maria Regina (* 24. Oktober 1818 in Graz), war Ehrendame des freiweltlich-adeligen Damenstifts in Brünn. Sie wurde unter dem Pseudonym Ida von Claudis und Z. von Claudius als Malerin und Schriftstellerin bekannt.