Ca. 1750 kjøpte tyskfødde Dietrich Schäffer (på dansk Diderik Schæffer) kavalerstallene ved slottet, som på det tidspunkt var i forfall og trengte til en avløser. Schäffer var mester for datidens fornemmeste rokokkointeriører, blant annet i Moltkes Palæ på Amalienborg. Han oppførte en stor og fornem hovedbygning på stallgrunnen i håp om at kongen skulle kjøpe den. En viktig samtidig kilde til Schæffergårdens tidlige historie, forfatteren Knud Lyne Rahbek, skriver om «den da meget bekiændte Snedker Schæffer, som havde bygget den smagfulde store Gaard paa Jægersborg, i det Haab, at Kongen, da Jægersborgslot blev nedrevet, skulde kiøbe den til Aftræde paa Jagten, og da dette Haab glippede, var tildeels derved ødelagt.»3). I 1771 måtte Schäffer overlate eiendommen til panthaverne. De forsøkte forgjeves å selge den på auksjon, men leide den så ut til 1781, da den omsider ble solgt.