Bernstorff overtok Fasanhaven og Fasangaarden samt et stykke av Jægersborgs hovmarker i 1752. I begynnelsen nøyde Bernstorff seg med Fasangaarden, men i 1759 begynte byggingen av det nåværende Bernstorff slott.