Han tilhørte med andre ord en av Arendals fremste borgerfamilier. Familien hadde avansert sosialt innen et vanlig mønster på den tiden. På slutten av 1600-tallet var forfedre skipper på egne skuter i uthavnene som i løpet av 1700-tallet slo seg opp som kjøpmenn og redere inne i Arendal. Da Herlofson ble født, var Arendal Norges fremste sjøfartsby målt i tonnasje. Byens borgere hadde landets høyeste gjennomsnittsinntekt og -formue, og Herlofson ble blant byens mest sentrale aktører.