1674 થી, કિલ્લાને એક જેલમાં રાખવામાં આવ્યો, જેમાં રાજકીય કેદીઓ હતા.