Horst var rektor ved Tromsø høiere skole i perioden 1892–1908. Han var aktiv i lokalpolitikken i Tromsø; satt i bystyret i flere perioder og var ordfører fra 1887 til 1890. Han var stortingsrepresentant for Venstre i periodene 1889–1903 og 1906–1909, odelstingspresident i perioden 1892–1899, lagtingspresident i perioden 1900–1903. Han var bankdirektør Norges Hypotekbank i perioden 1909–1926.