A su lado había una casa fuerte, hoy desaparecida, reformada por los Álvarez de la Rivera y origen del palacio actual.