56年，卡尔·路德维希与萨克森的玛格丽特结婚，两人没有子女。玛格丽特于1858年去世。1862年，卡尔·路德维希与两西西里的玛丽亚·安农齐亚塔结婚，两人共有3子1女：玛丽亚·安农齐亚塔于1871年去世。1873年，卡尔·路德维希与布拉干萨的玛丽亚·特蕾莎结婚，两人共有两个女儿：