Fengselet sto deretter tomt i en del år, før Postverket kjøpte fengslet og rettsbygningen og ønsket å rive disse for å bygge nytt postbygg. Lokalbefolkningen protesterte, og kommunen vernet bygget. Posten pusset derfor heller opp bygget, og brukte det til utstillingslokale og kulturbygg.