Worlée ble født i Dansk India, i Trankebar som nå er i Tamil Nadu i India. Faren var en fransk kolonioffiser stasjonert i Pondicherry ikke langt unna.