Ernst ble skilt fra sin første kone i 1826. Han giftet seg på nytt med sin niese, hertuginne Marie av Württemberg (1799–1860) i Coburg.