Per Andersen Holter var sønn av Anders Persen Holter, kapellan i Strøm (nå Odalen), og Anna Mortensdatter Leuch. Han var det ene av tre barn som vokste opp. Anna ble siden gift med oberst Adolph Carl Helm.