I 1820 erhvervede baron Christian Ulrich Hans von Brockdorff store jordbesiddelser i udkanten af Slesvig-forstaden Frederiksberg. Brockdorff, der var dansk overretsråd og landråd i Hertugdømmet Slesvig, lod opføre et lysthus og opkaldte området efter sin kone Annette. Under kamphandlingerne mellem danske og tyske soldater den 23. april 1848 (Slaget ved Slesvig) blev lysthuset dog ødelagt. I stedet lod Ludwig Ulrich Hans Friherre von Brockdorff, der var diplomat i dansk tjeneste, 1864 opføre den nuværende herregård Annettehøj. Herregården omtales også som slottet ("Schloss Annettenhöh"). I 1895 overgik gården til Brockdorffs adoptivsøn, den senere tyske gesandt i Danmark og første udenrigsminister i Weimarrepublikken, Ulrich Graf von Brockdorff-Rantzau. Han ejede gården til sin død i 1928.