Tras la demolición del palacio de los marqueses de Priego, y posteriormente duques de Medinaceli, estos levantaron este palacio en la parte baja del casco antiguo de la ciudad, en tradición aún manierista.