Slottet har mansardtak og ble reist etter tegninger av arkitekt Laurids de Thurah i 1734 for Christian VI som et sted der kongen kunne holde taffel under sine parforsejakter og har aldri vært tenkt å fungere som residens. Tidligere fantes det en «taffelmaskin» som kunne heise et dekket bord – eremitagebord – opp fra kjelleren til spisesalen, slik at kongen og hans gjester kunne innta middagen uten tjenere, eller «en ermitage» (i ensomhet), derav navnet på slottet.