Para construir este complejo se destruyó el Hospital del Rey que se volvió a levantar frontero y cuyas obras se llevaron a cabo por el gran cardenal Bernardo de Sandoval y Rojas y el arquitecto Nicolás de Vergara, entrado ya el siglo .