Etter foreldrenes skilsmisse flyttet Brøgger med sin mor, søster og stefar til et rekkehus i Nærum; men da stefaren ble utstasjonert på Sri Lanka av WHO, flyttet han og konen dit, mens Brøgger ble i Danmark for å fullføre skoleåret og fikk bo hos et lærerpar. Først sommeren 1959 ble hun forent med foreldrene. Barbara hadde vært på kostskole i India.