Hans far var Henrik Ibsens fetter, og Herman og Christopher Tostrup Paus skjenket Ibsensamlingen flere portretter og gjenstander knyttet til Ibsen, herunder maleriet av søsteren Hedvig Ibsen. I begynnelsen av 1940 ble Herman Paus forlovet og senere gift med grevinne Tatiana Tolstoy, datter av Leo Tolstoy d.y. og barnebarn av Leo Tolstoj; ektefellen var de første årene vokst opp på farfarens gods Jasnaja Poljana, der han skrev og , men flyktet med sine foreldre til Sverige i 1917 som følge av den russiske revolusjon. De hadde fire barn og en rekke barnebarn; etterkommerne eier herregårdene Herresta og Näsbyholm som begge ligger i Strängnäs kommune. Herman Paus' bror Karl Paus eide herregården Närsjö gård i nabokommunen Eskilstuna.