Etter artium tok Hertzberg militær utdanning: Krigsskolen 1927–1930, Hærens flyskole 1930–1931, og Den Militære Høiskole i 1932–1934.