Durant el domini àrab va ser coneguda com a Rafalí i estava sota jurisdicció del senyoriu de Rebollet que, el 1241, fou donat, amb tot el seu territori, al noble Pere Eiximen d'en Carròs o Carroç, el qual llinatge va exercir-hi el senyoriu fins finals del , en què passà, junt al d'Oliva, a Pere Centelles. El tercer senyor de la baronia de Rebollet va ser el seu net Francesc Carròs i de Cruïlles, a qui va succeir el seu fill Francesc, i la seua filla, Joana, casada amb Ramon de Boixadors. De la filla d'en Ramon, Allemanda Carròs, casada amb Berenguer de Vilaragut (que el 1368 va refer el castell, destruït pels castellans el 1344, durant la Guerra dels dos Peres), va passar als nets de Francesca Carròs, filla de l'almirall i dona de Ramon de Riu-sec; Ramoneta de Riu-sec es va casar amb Pere de Centelles, senyor d'Oliva. La baronia de Rebollet passava als Centelles, que es van intitular senyors de les baronies de Rebollet i d'Oliva