Foreldrene var Per Severin Hjermann og Brita født Hovland. Han var gift med Mari Katrine Hakestad fra Ulvik. Han var etterkommer av eidsvollsmannen Peder Pederssønn Hjermann og stortingsmannen Peder Severin Pedersen Hjermann. Han var far til legen Ingvar Hjermann og ordfører i Lærdal Per S. Hjermann. Gården Stødno sentralt i Lærdal har vært i slekten siden 1700-tallet og det har vært 12 generasjoner med navnet Per/Peder Hjermann.