Rolfsen var styremedlem i Oslo-avdelingen av Den Norske Advokatforening fra 1950 til 1956, i Den Norske Filmprodusentforening fra 1955 til 1958, samt i Riksmål-organene Norsk Lytterforening (formann 1955–1957 og 1958–1960) og Frisprog. Han var også formann i Riksmålforbundet fra 1966. I næringslivet var han styremedlem i Jernløkkens Mekaniske Verksted, Tandhjulfabriken, B.W.B. Braathen & Co., Norgear og Norfinn.