Hertzberg var sønn av apoteker Johan Christian Hertzberg og Inger Horneman. Han avla i 1865 examen artium. Deretter studerte Hertzberg juss og ble i 1870 cand.jur. Han fikk deretter statsstipend for videre studier ved Uppsala universitet der han studerte rettshistorie. Fra 1872 til 1873 studerte han ved Universitetet i München.