Han var statsråd i aprilministeriet 1884. I årene 1903 til 1908 var Hertzberg direktør for Norges Hypotekbank. Fra 1906 var han Riksarkivar. Hertzberg gjorde en betydelig innsats for å samle norsk, rettshistorisk kildemateriale, i særdeleshet slike som angikk norsk middelalderhistorie. Han utga en flere rettshistoriske arbeider og publiserte en rekke artikler om statsøkonomiske emner. Tredje varamedlem Den norske Nobelkomite 18. mars 1902 – 31. desember 1903.