Palacio originalmente medieval, construido por el Condestable Ruy López Dávalos, sufre diversos cambios en su construcción a lo largo de los siglos de cuya autoría y fecha de edificación exacta se conoce poco.