Posteriormente formó parte de la red de fortalezas de Penacadell y cedido después a Bernat de Bellvís, sus descendientes se trasladan al vecino Palacio de Castellón de Rugat, siendo abandonado definitivamente hacia 1500.