Drake ble født i Lahore i Britisk India (nå Pakistan) og bodde i flere land i Det fjerne østen (inkludert Burma der broren hennes, musikeren Nick Drake, ble født). Etter skolegang i England tilbragte hun noe tid i Paris som au pair.