Han var stortingsrepresentant fra Hordaland fra 1922 til 1930 og igjen fra 1937 til 1945. I disse perioden var han blant annet medlem av Vei- og jernbanekomitéen, Tollkomitéen og Valgkomitéen. Han var parlamentarisk leder for Venstre fra 1928–1930, og var Stortingets visepresident i åtte år fra 1937 til 1945. Han satt også i Haugesund bystyre fra 1907 til 1910, i Fjelberg herredsstyre fra 1916 til 1919 og i Strinda herredsstyre fra 1931 til 1933. Han var kjent som en flere verv innenfor skolesektoren, blant annet leder av Norges Høyskolelærerlag 1917–1925 og fra 1936 formann i Skoledirektørrådet. Markhus var også aktiv innen målsaken og avholdsbevegelsen og var formann i Noregs Mållag fra 1936 til 1946 og medlem i Norges storlosjes råd av IOGT fra 1911 til 1932.