Ellinge ble bygd som en forsvarsborg med voldgraver, og er et av Skånes eldste gods med aner tilbake til 1100-tallet. Den opprinnelige skånsk-danske lukkede borgen ble i 1735 omgjort til en åpen herregård i svensk stil. Samtidig ble det anlagt en ny park. I 1854 ble den nordre fløyen revet ned, og erstattet med den nåværende tårnaktige stenbygningen. Hovedbygningen fikk gavler i en slags renessansestil.