Rolfsen satt i Fredrikstad bystyre fra 1901 til 1912, og var kommunens ordfører 1904–1910. Han satt også én periode på Stortinget fra 1910 til 1912. Der satt han i Justiskomiteen.