En 1393 los Perellós la vendieron a Lope Ximénez de Urrea y a partir de este momento se inició la construcción del palacio cuyos muros de la pared oeste formaron parte de la muralla.