Kjøpmannssønnen tok examen artium ved Oslo katedralskole 1810 og medisinsk embedseksamen i København 1815, der han studerte hos sin fars søskenbarn Michael Skjelderup. Holst studerte så ved Det Kongelige Frederiks Universitet og ble i 1817 tildelt den første doktorgrad fra et norsk universitet for avhandlingen . Radesyke ble ansett som en form for syfilis, men denne oppfatningen gikk medisinerne senere bort fra. Radesyken var utbredt i Norge i Holsts samtid, men senere har forskerne konkludert med at diagnosen trolig var en misforståelse, og at pasientene led av ulike andre sykdommer, eksempelvis syfilis og lepra. Holsts disputas fant sted 18. juni 1817. Avhandlingen ble publisert i bokform på norsk for første gang i 2005.