Som lokalpolitiker var Ole Ambrosius Rolfsen Drammens ordfører i to perioder, først i perioden 1870 til 1871, deretter i 1872, da den valgte ordføreren, Abraham Siemers Kiøsterud måtte trekke seg grunnet sykdom. Rolfsen var en av de mest sentrale politikere under gjenoppbyggingen av Drammen etter bybrannen i 1866. Som ordfører la han også ned grunnsteinen i alterfoten på Bragernes kirke etter at sogneprest Jørgen Moe hadde holdt sin tale den 20. mai 1870.