Cave ble født i Vest-London, og er den nest eldste blant fem søsken. Hennes far arbeider som allmennlege. Hennes bestefar var Chief Secretary for Hong Kong, Sir Charles Philip Haddon-Cave.