Etter Pitts tidlige død i 1806 mistet hun sin fremragende stilling i det engelske samfunn og søkte ut i verden. Hun forlot England for å reise rundt i Levanten med beduiner og bosatte seg i 1810 Libanon i et forlatt fjellkloster. Der hadde hun sin bolig hun frem til sin død nesten tre tiår senere, og fikk etterhvert tilnavnene som Europas «Dronningen av ørkenen» og «Mystery Lady of the Orient». Hun antok den lokale mannlige klesdrakten og engasjerte seg i politikken.