Handelsstedet Venneshamn ble etablert i 1888 av faren Ernst Karlsen (1857–1902). Arne Karlsen overtok forretningen etter sin stemor i 1918 og drev forretningen til 1958. Han var poståpner 1926–1963.