Bestemt på å være nær Esmond reiste han til New York hvor han fant arbeid som skuespiller. Esmond fikk strålende kritikker for hennes framføring. Olivier fortsatt å følge etter Esmond, og etter å ha fridd til henne gjentatte ganger sa hun til slutt ja og paret ble gift den 25. juli 1930. De fikk en sønn, Tarquin Olivier, født 21. august 1936, som senere ble en filmprodusent.