Rolfsen var en av initiativtagerne til bygging av Drammens Teater og var med i direksjonen mellom 1870 og 1874, formann 1870 til 1871. Han var også direktør og formann i Drammen Sparebanks direksjon fra 1867 til 1873.