Paul's School de Darjeeling, en el Raj británico, Leigh era la única hija del financiero británico Ernest Richard Hartley y su esposa Gertrude Mary Frances (nacida Yackjee; también utilizó el apellido de soltera de su madre, Robinson).