Sissel Castberg var datter av jurist og professor Frede Castberg (1893–1977) og hans kusine Ella Anker (1903–1974), og sønnedatter av sakføreren og den radikale Venstre-politikeren Johan Castberg.