Faren hadde startet forretningskarrieren som 15-åring som medarbeider hos sin eldre bror Knud Ibsen da Knud etablerte seg som trelasthandler i Skien i 1825, og bodde i Stockmanngården sammen med Knud og sin kusine Marichen da Henrik Ibsen ble født der. Ole Paus ble oppkalt etter sin farfar Ole Paus (1766–1855), som var etterkommer av en lang linje av embetsmenn i Øvre Telemark, men som flyttet til Skien fra fødebygda Lårdal som barn og ble skipper og reder, og giftet seg med enken Johanne Ibsen, året etter at hennes første mann Henrich Ibsen forliste med skuta «Caritas» i 1797.