Han var sønn av sakføreren og den radikale Venstrepolitikeren Johan Castberg og Karen Kathrine Anker, og vokste opp i villaen Fredevik (som Johan Castberg bygget og oppkalte etter sønnen) på Gjøvik. Da faren ble utnevnt til sorenskriver på Toten i 1906, flyttet familien til sorenskrivergården på Kapp. Han ble gift med kusinen Ella Anker (1903–1974), og de ble foreldre til forfatter, journalist, keramiker og homoaktivist Sissel Castberg.