Rolfsen var utdannet jurist. Han ble i 1856 underrettssakfører i Drammen, formannskapssekretær fra 1852 til 1861, og overrettssakfører i 1865. Han var byfogd i Drammen fra 1880 til 1884. Fra 1884 til 1903 var han sorenskriver i Lier, Røyken og Hurum.