Holsen ble valgt inn på Stortinget for Høyre fra Nordre Bergenhus amt fra 1889 til 1900 og fra 1903 til 1906. Deretter var han innvalgt fra Sunnfjord krets fra 1906 til 1912. På Stortinget var han medlem av protokollkomiteen fra 1900, og senere av budsjettkomiteen. I 1905 var han medlem av Stortingets spesialkomite og i 1906 av Stortingets kroningsdeputasjon.