I Nøtterø Sparebank var Gundersen kasserer fra 1858 til sin død. Bankens forretninger foregikk i kassererens hus på Østre Nøtterø.