Hennes far var skotsk offiser og hennes mor av spansk-kreolsk herkomst. Den 23. mars 1823 dro familien fra Liverpool med kurs for India. Til hun var fem år gammel levde hun i Calcutta i India, der faren kort etter ankomsten døde av kolera. Fra 1827 til 1834 vokste hun opp hos sin stefar i Montrose i Skottland og fikk frem til 1837 skoleundervisning i et internat for elitens døtre i det engelske Bath.