Holst tok medisinsk embedseksamen (1884) og ble dr.med. med en avhandling om streptokokker (1892), begge ved Det Kongelige Frederiks Universitet. Ved samme lærested var han professor i medisin (1893–1930), og ledet institt for hygiene og bakteriologi. Han var rektor 1919-21 og var president i Den norske lægeforening (1898-99, 1902-03).