Han tilhørte «Drammensgrenen» av slekten Paus og var sønn av de kjente skolefolkene Bernhard Cathrinus Pauss og Anna Henriette Wegner. Foreldrene eide og ledet Nissens Pikeskole, og han vokste opp i toppetasjen i skolebygningen (Gamle Nissens Pikeskole) i Kvadraturen. Hans morfar var industrimagnaten Benjamin Wegner. Han var oppkalt med for- og mellomnavnet etter farens første ektefelle Augusta Pauss f. Thoresen, en datter av trelasthandler i Christiania Hans Thoresen; navnet var også oppkalling etter kirkelæreren Augustin. Han var bror til kirurg og president i Norges Røde Kors Nikolai Nissen Paus og direktør i Norsk Arbeidsgiverforening George Wegner Paus.