Hertzberg var sønn av statsråd Nils Christian Egede Hertzberg og vokste opp i Kristiansand, der han var medlem i Kristansands formannskap og bystyre, mangeårig formann i byens idrettsforening Oddersjaa Ski- og Skøyteklubb, formann for Vest-Agders skikrets, og formann i Agder krets av Norges Livredningsselskap. Han deltok flere ganger i Holmenkoll-løpene, og vant førstepremie i et av løpene. Han var også en ivrig seiler.