Det ble opprettet eget tollsted for Lillesand i 1834. Tollvesenet leide opprinnelig denne bygningen som tollbod, senere kjøpte de den. Tollstedet ble nedlagt i 1992 og ble kjøpt av kommunen året etter.