Hun ble født i Australia til britiske foreldre, Francis Edward Joseph og Isabella Eliza Butter Joseph (født Carnegy). Hennes mor kom fra en adelig skotsk familie. Hennes far, Patrick Carnegy of Lour, var en etterkommer etter David, Carnegie, 2. jarl av Northesk. Familien tok senere Carnegy som etternavn etter at Isabella overtok farens eiendommer i 1915. Beryl var utdannet privat i England og Frankrike.