Holst tok med seg sine erfaringer og tanker fra næringslivet og inn i politikken. Han var medlem av Kristiania bystyre for Venstre 1904–1910 og stortingsmann 1910–1912. Han ble valgt fra Kristianias 4. krets, Hammersborg, med støtte fra Frisinnede Venstre og Høyre. Hammersborg krets bestod av Johannes menighet, Akershus festning, Vår Frelsers menighet, Jakob menighet og deler av Trefoldighets menighet. På Stortinget var han i hele perioden medlem av Stortingets budsjettkomité og Lagtinget, men hadde flere permisjoner. Han var blant grunnleggerne av Frisinnede Venstre, som ikke ble gjenreist etter den andre verdenskrig, men for en stor del gikk opp i Høyre. Tanken beskrevet av Holst om arbeidere som medeiere og aksjonærer i bedriftene, har senere blitt videreført av Høyre under betegnelsen «selveierdemokratiet», som et alternativ til sosialismens arbeiderstyrte bedrifter.