På 1700-tallet og framover gikk festningen gradvis i forfall og ble tilslutt omgjort til øyas fengsel. I 1722 ble øyas biskop Thomas Wilson (1698–1755) holdt fengslet for å ha vist forakt for øyas øverste domstol. Festningen ble også et administrativt senter hvor også lokale mynter ble preget foruten å tjenestegjøre som øyas sørlige rettssal. Fra 1891 begynte restaureringen (og med at et nytt fengsel var blitt bygget) inntil festningen ble offisielt overlevert fra den britiske krone til manx’ myndigheter i 1929. Kontrollen over festningen ble gitt til Manx Museum og National Trust i 1988 da den videre restaureringen ble håndtert av Manx National Trust. Castle Rushen ble offisielt gjenåpnet i juli 1991 som en del av øyas utstilling «Story of Mann».