Hertzberg hadde en onkel som også het Jens Skjelderup Hertzberg. Han var oberst og generalinspektør for Ingeniørvåpenet. Han døde av skader han fikk under bombeangrepet på Elverum 11. april 1940.