I etapper fra 1950- til 1970-tallet ble en stor del av bebyggelsen revet, delvis under stor strid mellom de som ville bevare og de som ville bygge nytt og stort. Det var for å bygge Rådhuset (opprinnelig bibliotek), kommunale kontorer, svømmehall, parkeringsplasser, Straensenteret og park med minnesmerker for Christian Bjelland og Arne Rettedal.