I 1917 ble Ernest Hartley overført til Bangalore som en offiser i det indiske kavaleri (en del av den britisk-indiske hæren) mens hans hustru og datter ble værende i byen Ooty (Ootacamund) i sørlige India. Da Vivian var tre år gammel hadde sin første framføring på scenen i sin mors amatørteatergruppe. Gertrude Hartley forsøkte gi sin datter en interesse i skjønnlitteratur og introduserte henne for forfattere som H.C. Andersen, Lewis Carroll og Rudyard Kipling, foruten også fortellinger fra gresk mytologi og indisk folkeminne. Seks år gammel ble Vivian sendt av sin mor til London fra Darjeeling. En av hennes venninner ved den engelske skolen var den framtidige skuespilleren Maureen O'Sullivan, to år eldre enn henne, og som uttrykte sin ønske om å bli «en stor skuespiller». Hun ble senere tatt ut av skolen av sin far og reiste med foreldrene i fire år, og gikk da på ulike skoler i Europa, blant annet i Dinard, Biarritz, Sanremo og Paris, noe som gjorde at hun kunne snakke fransk og italiensk flytende. Familien vendte tilbake til England i 1931. Samme året så Vivian filmen på Londons West End hvor Maureen O'Sullivan hadde en rolle. Hun fortalte deretter til sine foreldre om sine ambisjoner om å bli skuespiller. Kort tid etter fikk hennes far henne inn på Royal Academy of Dramatic Art (RADA) i London, Englands fremste teaterutdannelse for skuespillere.