Rolfsen var utdanna arkitekt fra Norges tekniske høgskole i Trondheim i 1930. Han arbeidde en del år ved arkitektkontoret til Norges Kooperative Landsforening, før han i 1938 blei førstearkitekt i Oslo reguleringsvesen. Etter at Kristiansund var blitt sterkt ødelagt i den første fasen av andre verdenskrig, fikk Rolfsen det stedlige ansvaret for å planlegge gjenoppbygginga gjennom Brente steders regulering. Ved årsskiftet 1942–43 dro han til Sverige. Han blei så kalt over til London, der han var konsulent i bygningsspørsmål for den norske eksilregjeringa. Da krigen var over blei han engasjert som leder av Brente steders regulering, og han hadde dermed et hovedansvar for gjenoppbygginga av Finnmark og Nord-Troms og ei rekke steder ellers i landet. I 1947 blei han reguleringssjef i Oslo, ei stilling som året etter skifta betegnelse til byplansjef.