I 1694 fikk Christian V reist et lysthus på tomten til en av de nedlagte gårdene i Stokkerup. Det var et bindingsverkhus på 90 kvadratmeter over en kjeller. Her var det spisesal og kongen hadde sitt eget kabinett og i kjelleren var det blant annet stue og kjøkken. Christian V omtaler stedet som «Heremitagen udi Dyrehaffuen» i et dagboknotat fra 1696. Bak dette prosjektet sto arkitekt Hans van Steenwinckel den yngste. Imidlertid opptrer Ole Rømers navn også flere ganger i regnskapene. Det var Rømer som konstruerte det første eremitagebordet som var en integrert del av bygningen.