Peter Hersleb Harboe Castberg giftet seg med Anne Margrethe Zimmer Henchel. De fikk fire sønner og tre døtre, men to av barnene vokste ikke opp. Deres sønn Johan Christian Tandberg Castberg ble en tolltjenestemann og politiker. Via ham var Peter bestefar til politikeren Johan Castberg og fiolinisten Torgrim Castberg, og oldefar til professor Frede Castberg. Gjennom den andre sønnen, legen Tycho Fredrik Edvard Castberg, Peter Hersleb Harboe faren til bankmannen Peter Harboe Castberg og skulptøren Oscar Ambrosius Castberg.