Hanna Castberg von der Lippe var datter av tolltjenestemann, avisredaktør og stortingsmann Johan Christian Tandberg Castberg (1827-99) av slekten Castberg og Hanna Magdalena Frisak Ebbesen (1839-81). Hun var søster av blant andre politikeren Johan Castberg (1862-1926) og fiolinisten Torgrim Castberg (1874-1928). Hun var født inn i en søskenflokk på 13 barn, i en familie som delte et sterkt politisk engasjement.