Han deltok ved stormannsmøtet på Eidsvoll (ofte kalt Notabelmøtet) den 16. februar 1814. Noen måneder samme høst var han konstituert som leder av 1. departement (finansvesenet), men uten å være medlem av statsrådet. Gjennom 1814 og i alle år fram til 1848 spilte han en sentral rolle i den unge norske staten. Holst ledet de avsluttende forhandlingene om Gjeldsoppgjøret med Danmark og fremforhandlet avtalen som løste Bodøsaken i 1821. Han var regjeringsmedlem fra 1822 til 1848; og i noen korte måneder i 1827 var han endog konstituert som Norges statsminister i Stockholm.