Olsen møtte som representant for Risør på alle Storting i perioden 1854–1864. Han var hele tiden medlem av konstitusjonskomiteen, hvor han var sekretær fra 1857. Fra 1854 var han medlem av forskjellige spesialkomiteer angående planlegningen av en ny Stortingsbygning.