På Rethwisch hadde hans ugifte tante Eleonora av Slesvig-Holsten-Sønderborg bodd frem til sin død i 1699. Her lot Joachim Ernst samme år oppføre et nytt residensslott.