Den tidligste kjente eieren var riksråd Claus Bille. Slottet ble plyndret og brent under Søren Norbys skånske opprør i 1525. Claus Billes sønn Steen Clausen Bille, som også eide Herrevad kloster, ga slottet videre til sin sønn Anders Bille. Da denne bygget sin gård Rosendal utenfor Helsingborg solgte han i 1616 Råbelev til Christoffer Knudsen Ulfeldt, som ifølge murankre på hovedbygningens nordgavl, oppførte denne i 1637.