El castillo y domicilio familiar en Javier, que fue demolido en 1517 por orden del Cardenal Cisneros, fue reconstruido como palacio, una vez perdida su utilidad militar.