I 1890-årene satt Holtsmark i hovedstyret for det moderate venstrepartiet Centrum. Etter at dette partiet ble oppslukt i Høyre omkring 1900, representerte han Høyre på Stortinget 1904–1906. Ved stortingsvalget i 1906 fant Høyre og moderate venstrekrefter på nytt sammen i Samlingspartiet, og Holtsmark ble gjenvalgt til Stortinget. Han søkte ikke gjenvalg i 1909, av hensyn til sin private virksomhet.