Han døde på gården sin Stødno i Lærdal i 1834. Det er reist en minnesten over Hjermann på gården Stødno i Lærdal. Sønnen Peder Severin Pedersen Hjermann møtte på Stortinget en periode. På gården er det nye hus etter ras, flom og brann. Hjermann var gift med Berte Tomasdatter Dalsøyri (barnløst) og deretter med Else Sophie Sørensdatter Lem fra Årdal. Han var den femte i en rekke med navnet Per Hjermann og en rekke av hans etterkommere og innehavere av gården har hatt samme navnet. Blant etterkommerne er Per Severin Hjermann, Per S. Hjermann og Reidar Hjermann.