Hertzberg var sønn av misjonspresten Arthur Johan Hertzberg, som var bestyrer av Det Norske Misjonsselskaps kinesiske middelskole, da sønnen ble født. Bestefaren var statsråd Nils Christian Egede Hertzberg.