Tollefsen arbeidde først tre år i forretning i Halden og deretter elleve år i Porsgrunn. I 1895 etablerte han så egen manufakturforretning i hjembyen. Han var medlem av Porsgrunn bystyre fra 1917 til 1931 og hadde også flere andre kommunale verv. Han var direktør for Porsgrunds Sparebank fra 1900 til 1929, deretter direksjonsformann til 1933. Han var også engasjert i Porsgrunds Handelsbank og styremedlem/formann i handelsstandsforeninga i byen.