В 1858 году у Людвига и Генриетты Мендель родилась дочь Мария Луиза, будущая графиня Лариш-Валлерзее, получившая известность в связи с трагедией в Майерлинге. В 1859 году у Людвига и Генриетты родился сын Карл Эммануэль, умерший через два месяца. После смерти Генриетты в 1891 году герцог Людвиг женился спустя год на актрисе Антонии Барт, брак с которой был расторгнут в 1913 году.