Hertzberg utga en rekke skrifter, vesentlig om pedagogikk. Hans erindringer fra 1909 og 1910 er livfulle tekster.