Holst ble ansatt som stadsfysikus (bylege) i Christiania (1818), foretok studiereiser i utlandet, og ble utnevnt til professor i farmakologi, hygiene og toksikologi (1824, fratrådte 1865). Han tok initiativet til Det Norske Medicinske Selskab (1826), ga ut tidsskriftet (1826–1837) og (1850–1938). Hans arbeid var hovedsakelig innen samfunnsmedisin, idet at han arbeidet for medisinsk innpass både i fengselsvesenet og det psykiske helsevern.