Determined to be near Esmond, Olivier travelled to New York where he found work as an actor.
Olivier je kasneje v svoji avtobiografiji zapisal, da je bil na Esmondovo usekan in da ga je njena hladna brezbrižnost še bolj privlačila.