Fengselet ble etter hvert hvert for lite og uhensiksmessig. Med sin plassering ut i Festningsgata, var det også til hinder for en utvidelse av gata. Da et nytt fengsel stod ferdig i 1977, ble fengselet fraflyttet og senere revet.