Da Russlands grense ble flyttet vestover mistet festningen sin betydning som grenseforsvar. Under Det russiske keiserdømmet ble den brukt som et beryktet politisk fengsel, og blant dets berømte fanger var Wilhelm Küchelbecher, Mikhail Bakunin og Walerian Łukasiński som satt der i 38 år. Ivan VI av Russland ble drept i festningen i 1764, og Lenins bror, Aleksandr Uljanov, ble også hengt der. Fengselet ble brent ned under oktoberrevolusjonen i 1917. I 1928 ble det opprettet i den gamle festningen.