Han var sønn av kaptein og jernbaneingeniør Tollef Lintrup Paus (1843–1915), som i sitt yrkesliv arbeidet med utbyggingen av jernbanenettet i Norge, og som tilhørte Skiens-grenen av slekten Paus. Tollefs far, fogd Henrik Johan Paus, hadde den uvanlige idé å gi sine eldste barn navn etter deres nummer i søskenflokken: Nina, Tina, Ellef og Tollef. Hans mor var Hedevig Holmsen, datter av oberstløytnant Hans Wangensten Holmsen (1815–1903).