Han ble gift i 1937 med komtesse Hedevig Wedel-Jarlsberg, datter av hoffsjef og lensgreve Peder Anker Wedel-Jarlsberg og Hermine f. Egeberg; svigermoren var datter av Einar Westye Egeberg. I 1948 overtok de eiendommen Esviken fra svigerforeldrene. Eiendommen ligger ikke langt fra Skaugum, og i svigerfarens levetid var kong kong Haakon og dronning Maud på besøk der en rekke ganger. Per og Hedevig Paus la ned et omfattende arbeid i drift og vedlikehold av eiendommen, bl.a. gjennom uthugging av deler av skogen. Eiendommen ble overtatt av barna Cornelia, Christopher og Peder Paus, som solgte den til Asker kommune i 1999. Hedevig arvet også en betydelig del av møblementet og annet inventar fra Jarlsberg hovedgård.