Leigh ble født som Vivian Mary Hartley i Britisk India på campus til St. Paul's School i Darjeeling (dagens Vest-Bengal i India). Hun var den eneste barnet til Ernest Richard Hartley og hans hustru Gertrude Mary Frances (født Yackjee, men benyttet også etternavnet Robinson). Hennes mor, en hengiven katolikk, kan ha vært av irsk og parsisk-indisk avstamning. Foreldre ble gift i 1912 i London.