Olofsson ble fagorganisert i 1880, og medlem av Sosialistisk arbeiderforening i Bergen i 1888. I foreningen ble han vekselsvis valgt som sekretær og formann.