Han var far til maler Johan Christian Castberg og redaktør Katti Wankel, oldefar (farmors far) til høyesterettsadvokat Berit Reiss-Andersen og farbror til professor Frede Castberg.