Han vokste opp i Drammen, der faren I.M. Pauss (1835–1907) var skipsreder. Han tilhørte den eldre grenen av slekten Paus, «Drammensgrenen», som stammer fra Hans Povelsson Paus. Hans oldefar Isaach Nicolai Nissen Paus, opprinnelig fra Kviteseid, hadde tatt borgerskap på Strømsø i 1809, og familien var på 1800-tallet virksom der som skipsførere og redere. Han var yngre bror av skipsreder og generalkonsul i Sydney Olav Pauss og av sin mangeårige forretningspartner Alf Paus. Kirurgen Nikolai Nissen Paus var hans fetter.