A finales del siglo XVII se llevaron a cabo reformas en sus edificios, y el antiguo palacio de la Real Chancillería pasó a funcionar como cárcel de la audiencia en 1687 tras las remodelaciones llevadas a cabo a partir de 1678 por Juan Tejedor Lozano, Felipe Berrojo y Juan de Medina Argüelles.