و في فبراير عام 1940، وافقت جيل إسموند على الطلاق من أوليفييه، ووافق لي هولمان على طلاق لي، على الرغم من حفاظهم على أواثر الصداقة القوية والتي استمرت طيلة حياة لي . وقد تم منح إسموند حضانة تراكوين، ابنها من أوليفييه . ومن جانب اخر، تم منح هولمان حضانة سوزان، ابنته من لي .وفي 31 من أغسطس عام 1940، تم عقد قران لي وأوليفييه في مزرعة سان يسيدرو في سانتا باربرا بولاية كاليفورنيا ،في احتفالاقتصر فقط على حضور عوائلهم، رونالد وبينيتاكولمان والشهود،كاثرين هيبورن وغارسون كانين . وقامت لي بتقديم اختبار الشاشة وأعربت عن أملها في أن تشارك النجومية مع أوليفييه في ريبيكا،الفيلم الذي كان من إخراج ألفريد هيتشكوك ومن بطولة أوليفييه. وبعد مشاهدة اختبار الشاشة الذي قدمته لي، أشار ديفيد سلزنيك أنها "لا تبدو مقنعة من حيثالصدق أو العمر أو البراءة "، وهو الرأى الذي يشاركه فيه هيتشكوك ومعلم لي، جورج كوكر. وقد لاحظ سلزنيك أنها لم تبد أى حماس للجزء الذي ستقوم بأدائه ذلك حتى تم التـأكيد أن أوليفييه هو الممثل الرئيسى لذا قام بدوره بترشيح جوان فونتين.ومن الجدير بالذكر، أنه رفض السماح لها بالانضمام مع أوليفييه في فيلم الكبرياء والتحيز الصادر عام 1940، ولعبت جرير جارسون دوركانت لي تريدة لنفسها . فقد كان الفيلم الذي يحمل عنوان جسر واترلو والذي تم إصدارة عام 1940 قد تألق فية كلاً من أوليفييه ولي، ومع ذلك قام سلزنيك باستبدال أوليفييه بروبرت تايلور، زتم وصفه في ذروة نجاحة بأنه واحداًمن أكثر النجوم شعبية الذين ينتمون إلى مترو غولدوين ماير . وقد عكست أجورها العالية وضعها الذي تتمتع به في هوليوود، وكان الفيلم هو الأكثر شعبية لدى الجماهير والنقاد . وقد شنت عائلة أوليفييه مرحلة الإنتاج من روميو وجولييت لبرودواى .ونشرت صحافة نيويورك الطبيعة الزانية لبداية علاقة كلاً من أوليفييه ولي وتساءلت الصحيفة عن أخلاقياتهم فيما يخص عدم العودة إلى المملكة المتحدة للمساعدة في الجهود الحربية . وكانت النقاد معادية في تقييمهم لروميو وجولييت . وكتب بروكس أتكينسون لصحيفة نيويورك تايمز " على الرغم من أن الآنسة لي والسيد أوليفييه هم من الشباب الوسيم ، فإنهم نادراً ما يقومون بالتصرف في الأجزاءالتي يؤديها كلاً منهم على الإطلاق ". وبينما يعزى معظم اللوم لتمثيل أوليفييه وإتجاهاته ، وجهت انتقادات ايضاً للي ، فقد قام برنارد جريانير بالتعليق على "جودة صوت الآنسة لي ، فتاة المتجر النحيفة" . وقام الزوجان باستثمار جميع مداخراتهما والتي تبلغ 40000 دولار في المشروع ، ولكن باء المشروع بالفشل ، وتسبب ذلك في حدوث كارثة مالية لهم . وقام أوليفييه بتصوير فيلم بعنوان "هذة المرأة هاملتون " عام 1941 حيث قام بتجسيد دورهوراشيو نيلسون ولي في دور ايما هاملتون . ولم تكن الولايات المتحدة دخلت الحرب بعد ، وكان هذا الفيلم واحداً من عدة أفلام قدمتها هوليوود بهدف إثارة المشاعر الموالية لبريطانيا بين الجماهير الأمريكية . وقد حصد الفيلم شعبية كبيرة في الولايات المتحدة ، وحقق نجاحاً بارزاً في الاتحاد السوفياتى . وقام ونستون تشرشل بعرض الفيلم في حفلة شملت فرانكلين روزفلت ، وبنهاية الحفلة، قام بتوجيه كلمة للحاضرين "أيها السادة ، أعتقد أنكم ستستمتعون بهذا الفيلم ، خاصةً إنه يعرض أحداثاً عظيمة مماثلة لما تشاهدونه اليوم في أرض الواقع". وبقيت عائلة أوليفييه هي المفضلة لدى تشرشل ، وظهر ذلك في حضور حفلات العشاء والمناسبات بناء على طلبه طيلة حياته، وعن لي ، تم النقل عنه قوله "يا إلهى ،إنها خبيثة". وعاد أوليفييه إلى بريطانيا ، وفي عام 1943 ، قام بجولة عبر شمال أفريقيا كجزء من عمل مسرحى ساخر للقوات المسلحة المرابطة في المنطقة . وقامت لي بأداء دورها للقوات وذلك قبل إصابتها بالسعال المستمر والحمى . وفي عام 1944 تم تشخيص إصابتهابوجود سل في الرئة اليسرى لها وأمضت عدة أسابيع في المستشفى قبل تعافيها . وكانت لي تقوم بتصوير قيصر وكليوباترا عام 1945 عندما أكتشفت أنها حامل ، لكنها عانت من الإجهاض . وقد تم إصابة لي لفترة مؤقتة بالاكتئاب العميق الذي ضرب أدنى نقطة له ،فكانت تقع على الأرض ، وتنتحب في نوبة هيستسرية . وكانت هذة هي المرة الأولى لها من حالات الانهيار العديدة التي ارتبطت باضطراب ثنائى القطب . وأتى أوليفييه لاحقاً للتعرف على أعراض هذة النوبة الوشيكة - وبعد عدة ايام من فرط النشاط تلاه فترات من الإكتئاب والانهيار الناسف ،بعد كل ذلك كانت لي ليس لديها اى ذاكرة لما حدث ، ولكن ذلك سيكون بالطبع يسبب لها الإحراج الشديد والأسف. وبوافقة طبيبها ، كانت لي على نحو جيد بما يكفى لإسئناف التمثيل عام 1946 ،في بطولة لإنتاج لندن الناجح لثورنتون وايلدر "شق أنفسنا " ولكن أفلامها في هذة الفترة والتي شملت قيصر وكليوباترا عام 1945 آنا كارنينا عام 1948، لم تحقق نجاحات تجارية كبيرة .وتأثرت جميعالأفلام البريطانية في هذة الفترة من الآثار السيئة لمقاطعة هوليوود للأفلام البريطانية. وفي عام 1947 تم توسيم أوليفييه ورافقته لي إلى قصر باكنغهام لتنصيبه. وقالت إنها أصبحت سيدة أوليفييه. وبعد طلاقهما ، ووفقاً للنمط الوظيفى الذي تم منحه للزوجة للطلاق من فارس ، أصبحت معروفة اجتماعياً باسم فيفيان، سيدة أوليفييه. وبحلول عام 1948 كان أوليفييه على مجلس الإدارة لمسرح فيك القديم ، وشرع هو ولي بعد ذلك في جولة استغرقت ستة أشهر لآستراليا ونيوزيلاندا لجمع الأموال للمسرح . وتلقى اوليفييه زمام المبادرة في ريتشارد الثالث كما شارك لي في "مدرسة الفضيحة" و"شق أنفسنا" .وبالفعل حققت الجولة نجاحاً مميزاً ،وبالرغم من أن لى كانت تعانى من الأرق وسمحت بالبديل الجاهز ان يحل محلها لمدة أسبوع بينما كانت مريضة ، صمدت أمام المطالب التي تم تشكيلها عليها مع أوليفييه الذي أشار إلى قدرتها على "سحر الصحافة". وأشار أعضاء الشركة فيما بعد إلى عدة مشاجرات بين الزوجين كما كان أوليفييه مستاء للغايه من المطالب المفروضة عليه خلال الجولة. ووقعت المشادة الأكثر مأساوية في كرايستشيرش ، بنيوزيلاندا ، عندما لم يتم العثور على حذاء لي ورفضت لي الذهاب إلى خشبة المسرح من دون حذاء .وما كان على أوليفييه الغاضب والمرهق إلا أنه قام بصفعها على وجهها، وقامت لي المدمرة برد الصفعة له في المقابل ، مستاءه انه قام بضربها علناً.وفيما بعد، استأنفت لي طريقها إلى المسرح في طلمبات مستعارة ،وخلال ثوان ، كانت "قد جفت دموعها وتبسمت ابتسامة زاهية على خشبة المسرح ". وفي نهاية الجولة ، شعر كلاً منهما بالإنهاك والمرض .وقال أوليفييه لصحفى " قد لا تعرفون ذلك ولكن كنت تتحدث إلى أثنين من الجثث المتحركة" وفي وقت لاحق لاحظ أنه "فقد فيفيان" في أستراليا . وكان لنجاح الجولة الدور في تشجيع اوليفييه لجعل أول ظهور لهما معاً في منطقة ويست إند ، وأداء نفس الأعمال معاً في موقع واحد ، أنتيجون، وشمل ذلك إصرار لي التي ترغب في لعب دور تراجيدى .