Schæffergården ligger i et område som i middelalderen tilhørte Ibstrup gård. Ibstrup ble benyttet som kongelig jaktgård fra dronning Margretes tid og var dessuten en mellomstasjon, når kongene skulle til sine slott i Nord-Sjælland. I 1609 startet Christian IV byggingen av et slott på Ibstrup. Ibstrup slott stod ferdig i 1620. Omkring 1670 ble Dyrehaven etablerert. Ibstrup slott ble utgangspunkt for de kongelige jaktselskap i Dyrehaven, og fikk navnet Jægersborg.