Вівіан Мері Гартлі народилася в індійському місті Дарджилінг. Єдина дитина Ернеста Гартлі, англійця за походженням, який був офіцером індійської кавалерії, і його дружини, Гертруди Мері Френсіс (дівоче прізвище Які, також використовувала дівоче прізвище своєї матері Робінсон). Її батько народився 1882 року в Шотландії, тоді як мати, набожна римська католичка, народилася в 1888 році в Дарджилінгу і мала ірландське походження. Батьками Гертруди, які жили в Індії, були Майкл Джон Якджі (нар. 1840) і Мері Тереза Робінсон (нар. 1856), яка народилася в сім'ї, вбитій під час Повстання сипаїв 1857 року, і виросла в сирітському притулку, де й зустріла Якджі. Вони одружилася 1872 року і мали п'ятеро дітей, із яких Гертруда була наймолодшою. Ернест і Гертруда Гартлі одружилися в Кенсінгтоні (Лондон) 1912 року.