Peters far het Brynjulv. På morssiden var Peter en slektning av erkebiskop Øystein Erlendsson. Peters fødselsår er ukjent, men trolig var han født rundt 1160. Han kan ha tilhørt Standal-ætten på Sunnmøre, eller han kan ha kommet fra Hustad på Sandvollan i Inderøy. Han hadde en sønn, Sigurd, som han fikk som ung, sannsynligvis utenfor ekteskap.