Paus ble født på Akershus festning og vokste etter morens død i 1863 i stor grad opp hos besteforeldrene Camilla og Christopher Tostrup i Christiania og på herregården Kjellestad i Stathelle. Christopher Tostrup grunnla Tostrup & Mathiesen og Paus arvet som nittenåring en stor formue ved morfarens død. Frem til 1892 var Paus formelt en kreditor, reelt en medeier av Tostrup & Mathiesen med rundt 400 000 dekar skog i traktene ved Eidsvoll og Hurdalssjøen. Paus skal ha ønsket å etterfølge sin barnløse onkel Oscar Tostrup som parthaver i Tostrup & Mathiesen med Tostrupfamiliens andel på 50% etter onkelens død i 1892, men i stedet kjøpte medeieren Haaken C. Mathiesen ut Tostruparvingene og Mathiesenfamilien videreførte firmaet som Mathiesen Eidsvold Værk og siden også som Moelven Industrier.