El "Castillo-Palacio de Altamira" o "Alcázar de la Señoría", fue construido a finales del por el noble castellano Gutierre de Cárdenas, primer señor de la ciudad, tras haber vuelto a la Corona con los Reyes Católicos, convirtiéndolo en su residencia habitual.