Etter morens død tok farmoren Ella og tanten Helvig seg av barnebarna Ole og Peter, som kalte farmoren Mullerl. Fra 1953 var faren borte i tre år på grunn av sin tjeneste som Norges militærattaché i Stockholm og Helsingfors 1953–1956. Ole Paus har sagt om faren: «Min far ble veldig deprimert da mor døde. Han trengte nok å komme seg litt vekk. Alt i alt har vi hatt et godt forhold, og jeg var veldig glad i ham, men vi var også veldig ulike på mange områder, som om vi kom fra to ulike verdener». Da faren var i Stockholm bodde Ole i Oslo med farmoren og tanten.