Esmond var datter av teaterskuespillerne Henry Vernon Esmond og Eva Moore. Mens hennes foreldre turnerte med teaterselskaper tilbrakte Esmond barndommen i kostskoler inntil hun besluttet i en alder av 14 år å bli skuespiller.