Etter cand.med. 1888 forsket han på leprabasillen hos Armauer Hansen og Daniel Cornelius Danielssen i Bergen et par år, studerte bakteriologi i Berlin 1890 før han i 1892 fikk fast jobb ved patologisk avdeling på Rikshospitalet der han virket under Hjalmar Heiberg og Emanuel Winge. Etter sin dr.med. i 1894 som omhandlet en dødelig infisert (Salmonella Typhimurium) kalvestek ved Gaustad sykehus i 1891, ble han forfremmet til overlege og fra 1902 til 1932 var han professor. Holst forsket blant annet på Adams-Stokes syndrom.