Stedet er første gang nevnt på 1200-tallet som . På 1300-tallet kom gården under Braheslekten. Jens Brahe begynte i 1553 å bygge det nåværende slottet litt sør for Egeside, og sønnen hans Henrik fullførte det. Slottet er oppført som en firelenget forsvarsborg med flere kanoner og store hjørnetårn omgitt av brede vollgraver. På slutten av 1500-tallet arvet adelsmannen Christian Barnekow slottet. Etter freden i Roskilde sluttet Barnekowslekten seg til svenskene, og slekten hans beholdt slottet til 1826 hvor Stjernsvärd overtok. Denne kontinuitet av samme eiere, er kanskje en av grunnene til at slottet har bevart mye av sitt autentiske preg.