La fortaleza sirvió posteriormente como prisión de Estado hasta que en 1762 Carlos III fundó en Segovia el Real Colegio de Artillería que tuvo su sede en el alcázar.