Han tilhørte «Skiensgrenen» av slekten Paus og var sønn av skipsfører, skipsreder og proprietær Ole Paus og Johanne Plesner. Han ble oppkalt etter morens første ektefelle Henrich Johan Ibsen, som førte skipet «Caritas» og omkom på sjøen natt til 22. november 1797 da skipet forliste rett sør for Hesnesøya. Henrik Johan Paus var både halvbror til Knud Ibsen og fetter til Marichen Altenburg, Henrik Ibsens foreldre. Han ble født i Skien, men familien flyttet til gården Rising søndre i Gjerpen året etter, etter at foreldrene hadde solgt huset som hadde tilhørt Henrich Johan Ibsen i Løvestrædet. Blant hans faddere var kjøpmann og skipsreder Christopher Blom, som faren hadde vokst opp hos, og andre slektninger i familiene Blom, Plesner og von der Lippe; han var også nevø av eidsvollsmannen Didrich von Cappelen.