Olsen representerte Lister og Mandals amt på Stortinget 1880-88 og 1892-97. De første ni sesjonene var han medlem av næringskomite nr. 1. Deretter i de to siste sesjonene var han medlem av næringskomite nr. 1, men også av valgkomiteen. I tillegg var han i 1893 medlem av kontraktørkomiteen, 1894 av konsulatkomiteen og 1897 av fullmaktskomiteen.