Holst var sønn av presten Christian Holst, studerte først teologi, men skiftet studium og ble cand.jur. i København i 1798. Han arbeidet først i rentekammeret i København, men vendte hjem til Norge i 1806 som slottsfogd for Akershus slott og fogd for Aker og Follo. I 1813 var han konstituert amtmann i Akershus.