Han tilhørte slekten Paus og var sønn av sogneprest i Kviteseid Hans Povelsson Paus, sønnesønn av sogneprest i Hjartdal Povel Pedersson Paus og oldebarn av prost i Øvre Telemark Peder Povelsson Paus. Hans mor Susanne Morland (1670–1747) var datter av prosten Amund Morland og barnebarn av sagbrukseier og godseier Christen Andersen og Anne Gundersdatter til Borgestad gård. Peders far er bl.a. kjent for å ha skrevet visen om Anne Clausdatter, som også var moren Susannes kusine.