Hans Hoell var gift først med Sofie Henriette Paus (1832–1862) fra 1854 og etter hennes død i 1862 med hennes søster Nina Paus (1839–1866); de var døtre av Henrik Johan Paus og kusiner til Henrik Ibsen. I første ekteskap var han far til kaptein Herman Hoell (1855–1898) og Johan Henrik Hoell (1857–1858), og i andre ekteskap til Nina Henriette Hoell (1866–1944), som var gift med cand.jur. Kolbjørn Arneberg; sistnevnte var nevø av amtmann Ulrik Frederik Christian Arneberg som leide kontor på Søndre Brekke i 1880-årene.