Al mismo tiempo los barones abandonaron el castillo en favor de la Casa Grande, un palacio fortificado que se levantó en la plaza Mayor, en el solar que actualmente ocupa el ayuntamiento desde 1972.