Også Frederik IV, Christian Vs sønn, brukte Eremitageslottet med jevne mellomrom. Han gjorde eremitagebordet kjent i Europa; både August II av Polen og Peter I av Russland var på besøk og deltok i jakt i Dyrehaven og begge fikk senere anlagt lysthus med eremitagebord.