Se trata de una edificación militar que a partir del siglo XVI se sometió a obras de ampliación y transformación, convirtiéndose en un suntuoso palacio, propiedad del Ducado de Alburquerque.