Coby „žalář národů“ sloužila pevnost i v dalších letech. Zadržováni zde byli třeba italští a uherští revolucionáři (1849) a turečtí vojáci (1878–1879 a 1912) Mezi zdejší významné vězně patřili ale i polský polyhistor Hugo Kołłątaj (1750–1812), diktátor (vůdce) polského Lednového povstání Marian Langiewicz (1827–1887), nebo roku 1857 revolucionář a dobrodruh Anton Schütte (1817–1867), kterému se z Josefova podařilo téhož roku uprchnout.