Staten kjøpte huset i 1807, og det ble brukt som tollbod av Tollvesenet frem til 1932 da det ble bygd ny tollbod ved Barbuveien og den nye store Tollbodkaia. Ved et makeskifte mellom Tollvesenet og Arendal kommune ble da sistnevnte eier av den gamle Toldboden.