Ernst giftet seg med Magdalene Foss (f. 1676 d. 1718) 23. april 1703. Etter hennes død giftet han seg 6. juli 1719 med Margrethe Elisabeth Weinmann, enke etter borgmester Anders Jacobsen Lindberg. Ernst var en ansett og velhavende mann, eide godset Aunsøgård ved Kalundborg og et herskapelig hus i Stormgade i København. Han døde i 1750 og ble 8. oktober samme år gravlagt i Viskinge Kirkes kapell ved Kalundborg.