Fra omkring 1720, tjente festningen som base for byens garnison, og også som en fengsel av høy rang eller politiske fanger. Trubetskoy-bastion, ombygd i 1870, ble den viktigste fengsels-blokken. Den første personen til å flykte fra festningsfengselet (nå et viktig reisemål for turister) var den anarkistiske Prins Peter Kropotkin i 1876. Andre mennesker som har vært fengslet i festningen er Shneur Zalman av Liadi, Aleksej Petrovitsj, Artemij Volynskij, Tadeusz Kościuszko, Aleksandr Radisjtsjev, desembristene, Grigorij Danilevskij, Fjodor Dostojevskij, Mikhail Bakunin, Nikolaj Tsjernysjevskij, Lev Trotskij og Josip Broz Tito.