El Palacio de los Segura fue construido entre los siglos XVI y XVII, con reformas en el XVIII, por la familia que le da nombre y que había llegado a la localidad con la Reconquista.