Grøngård befant seg i et rikt jaktterreng, og ble også hertugens foretrukne utgangspunkt for fyrstelige jaktselskaper. Etter hertugens død ble slottet forlatt. Sten og byggematerialer ble gjenbrukt i andre bygninger, og Grøngård ble omsider revet i 1656. Ruinene ble utgravet av Nationalmuseet i årene 1953-1954 og i 1960.