Bremanger ble skilt fra Kinn og ble en egen kommune fra 1866 med Kalvåg som kommunesenter. Nesten 100 år senere, i 1965, ble den søndre delen av Davik innlemmet i Bremanger kommune. Svelgen ble da det naturlige kommunesenteret, og de ansatte i kommuneadministrasjonen flyttet til Svelgen. De første årene fram til Rådhuset stod ferdig våren 1972, holdt de kommunale kontorene til i Hus 8 på Villabakken.