Faren ble gift for andre gang med operasangeren Dagny Schjelderup i 1921 og for tredje og siste gang i 1935 med grevinne Ella Moltke (f. Glückstadt 1899 i København). Hun var datter av grosserer Valdemar Glückstadt og tilhørte Danmarks ledende jødiske forretningsdynasti, og var enke etter grev Erik Moltke af Nør. Ole Paus hadde en søster, Helvig Louise Cicin von Paus (f. 1909 i Wien), og en stebror, grev Erik Moltke (f. 1922). Flere slektsmedlemmer var godseiere i Sverige fra tidlig på 1900-tallet, bl.a. farens fetter Herman Paus, som var gift med et barnebarn av Leo Tolstoj, og denne familiegrenen eide herregården Herresta nær Stockholm.