Han var sønn av den kjente teologen og skolemannen og senere statsråd Nils Christian Egede Hertzberg som var førstelærer på Hamar seminar da Arthur Johan ble født. Men han var bare seks år da faren ble ekspedisjonssjef i Kirkedepartementet og fikk derfor sin oppvekst i Kristiania. Han ble student i 1889 og cand.real. i 1898. Året etter ble han utsendt til Kina av Kinamissionen for å arbeide som lærer ved Liangigai stasjon i Laohokow, hvor man hadde samlet misjonens skolearbeid.