Castberg var yngste sønn av Peter Hersleb Harboe Castberg (1794–1858), politiker og sogneprest i Sandar og Anne Margrethe Zimmer Henchel (1793–1854). Han giftet seg med Caroline Mathilde Høst (1836–1914), de fikk tre barn, Tycho Didrik Castberg (f. 1889), Sigrid Castberg (f. 1892) og Hugo Castberg (f. 1903).