Han tilhørte «Skiensgrenen» av slekten Paus og vokste opp på gården Rising i Gjerpen; han var sønn av skipsfører og skipsreder Ole Paus og Johanne Plesner. Faren hadde flyttet fra Lårdal til Skien som barn i 1770-årene og blitt tatt opp i huset hos slektningen Christopher Blom, som lærte ham opp i skipperyrket; Ole Paus fikk borgerskap i Skien i 1788. Moren Johanne Plesner var gift i første ekteskap med skipperen Henrich Ibsen. I 1800 bosatte foreldrene seg på Rising i Gjerpen etter å ha solgt Ibsen-huset i Løvestrædet, som hadde tilhørt hennes første ektefelle.