Esmond sto imot offentliggjøringen av Oliviers affære med Vivien Leigh og krevde ikke skilsmisse. Presset av Olivier som var ivrig etter å gifte seg med Leigh ga hun til slutt etter og de ble skilt den 29. januar 1940. mange biografier har hevdet at hennes beslutning var delvis basert på at hun hadde oppdaget at hun var lesbisk. Hun vendte kortvarig tilbake til skuespill og hadde en del roller i populære filmer som , og (alle utkom i 1942) og (1944).