Etter å ha tatt examen artium og anneneksamen ved universitetet med laud reiste han tilbake til Norge og ble huslærer. I 1766 tok han teologisk embetseksamen, og kom 19. november i tjeneste hos sin far i Røyken. Han ble sokneprest samme sted i 1775. Holst mottok i 1821 borgerdådsmedaljen, og ble etter 50 års prestetjeneste kalt til prost for Drammen prosti 1822-23.