El solar sobre el cual se construyó el palacio de Rajoy, estaba ocupado anteriormente por las cárceles, lo civil y lo eclesiástico de la ciudad, y un tramo de la muralla, que defendía la urbe por la parte del poniente.