Hennes far, oberst (senere generalløytnant) Neil Douglas, var adjutant for hertugen av Wellington i slaget ved Waterloo og ble slått til ridder i 1831. I yngre år studerte Barbara gresk, latin og tysk i Brussel (1831–40). På farens turer til Østen lærte hun seg hindustani. Hun fikk møte dronning Victoria i 1842, og i London traff hun Ole Bull.