I Veøy var Olafsen forlikskommissær sammenhengende fra 1853 til 1890. Fra 1854 til 1890 deltok han i kommunestyret, i mange perioder som ordfører. Han var representant for Romsdals amt til Stortinget fra 1859 til 1869 og fra 1874 til 1888. På Stortinget tilhørte han den mest radikale fløyen.