Peters familie på morssiden besto av fogder og lensherrer i Trøndelag, Jemtland og Herjedalen. Familien Schøller hadde flere gårder, landeiendommer, sagbruk, utleieboliger og et serveringssted i sin besittelse, og var blant de mest velstående nordafjells. Familien hadde i 1687 egen huslærer.