Ole Paus tilhørte «Skiensgrenen» av slekten Paus. Han vokste opp i Skien og var sønn av skipsreder og bankdirektør Christopher Blom Paus (1810–1898) og danskfødte Mine Ernst (1817–1914).