Fra salget i 1781 til 1818 hadde Schæffergården fem eiere. Eieren fra 1818, Chr. Broberg, utvidet jordveien og overførte den ledige betegnelsen Jægersborg Slot på Schæffergården. Fra Brobergs tid stammer flere bilder av Schæffergården, bl.a. en tegning av H.G.F. Holms av gården med utsikt til Gentofte kirke. I 1838 ble den utgitt som fargelagt kopperstikk i billedværket «Sjællands yndigste Egne». Et maleri med samme motiv fra 1835 henger på Øregård. I 1854 ble eiendommen kjøpt av hoffurmaker H.J. Schæffer. Hans sønn drev bryggeri og teglverk på stedet. En ny eier, grosserer N. Smith Dahl, foretar i 1882 en omfattende ombygging. Det valmede tegltaket ble erstattet av et lavere, skiferkledt saltak. Huset beholdt denne formen inntil 1920.