Da han ble født bodde foreldrene på Akershus festning der faren tjenestegjorde som premierløytnant. Moren døde året etter, og faren bodde fra 1860-årene på forskjellige adresser i Christiania med sin nye ektefelle og etterhvert sine barn fra andre ekteskap; familien hadde også kokkepike, stuepike og barnepike. Christopher Tostrup Paus er imidlertid ikke ført opp hos faren i noen av folketellingene fra 1865 og fremover, og ser ut til å ha tilbragt store deler av barndommen hos besteforeldrene Tostrup, bl.a. på herregården Kjellestad i Stathelle, der det ble holdt et gjestfritt hus med hyppige besøk bl.a. fra familien Mathiesen på Linderud; kusinen Hanna Holfeldt Gjør fortalte om deres barndom der i erindringer trykket i . Ifølge Gjør bodde Paus' tidligere barnepike «Ninni» (trolig Caroline Hammerstad, 1815–1902) på Kjellestad, og Paus «havde altid en fuglehund, som fik lov til at komme ind i stuerne», i motsetning til gårdshunden. Paus er registrert som bosatt på Kjellestad i folketellingene for både 1875, 1885 og 1891. Antagelig ble han oppfostret hos besteforeldrene fra morens død i 1863.