Den eldste delen av slottet stammer fra 1400-tallet, hvor det tilhørte den dansk-skånske familien Brahe, som også eide Vidskøvle slott i det østlige Skåne. I 1600-tallet ble bygningen utbygget til et renessanseslott med fire fløyer.