היא נסעה ללוס אנג'לס, לכאורה כדי להיות לצדו של אוליבייה, אך מיד עם הגיעה החלה בסדרת פגישות עם מעסיקים פוטנציאליים. באותה עת עסקה הוליווד בחיפושים קדחתניים אחר שחקנית שתגלם את דמותה של סקרלט או'הרה בסרט חלף עם הרוח, שהפקתו הייתה בעיצומה. היא נפגשה עם הסוכן האמריקני של אוליבייה, מיירון סלזניק, שהיה בדעה שיש בה את היכולות והכישורים שאחיו, דייוויד סלזניק, חיפש באותה עת. הוא זימן את לי ואת אוליבייה לאתר הצילומים שבו צילמו באותה שעה את הסצנה של אטלנטה עולה באש, והציג אותה בפני אחיו. למחרת היום היא נבחנה במבחן בד בפני דייוויד סלזניק, שכתב לאחר מכן לרעייתו ש"היא סקרלט האולטימטיבית, והיא יפהפייה בצורה בלתי רגילה, אבל אל תגלי זאת לאיש. היחידים שיודעים הם פולט גודארד, ג'ון ארת'ור, ג'ואן בנט והיא עצמה". הבמאי ג'ורג' קיוקור הסכים עם החלטתו של סלזניק ואף שיבח את "הפראות המדהימה" שלה, ולי זכתה בתפקיד שהזניק את הקריירה שלה ומיצב אותה ככוכבת בינלאומית.
במהלך ההפקה הודח הבמאי ג'ורג' קיוקור מתפקידו והוחלף בבמאי ויקטור פלמינג, עמו היו ללי מריבות רבות. לי וחברתה לסרט אוליביה דה הבילנד נהגו להיפגש בחשאי עם קיוקור, הבמאי המפוטר, בשעות הלילה ובסופי השבוע, ונעזרו בעצותיו על מנת לשפר את משחקן.
על סט הצילומים פגשה לי את השחקן קלארק גייבל (המגלם את רט באטלר) והתחברה איתו ועם אשתו, השחקנית קרול לומברד, שנכחה בזמן הצילומים, אולם היו לה ויכוחים מרובים עם השחקן לסלי הווארד (המגלם את אשלי וילקס), שעמו היה עליה לשחק כמה סצינות רוויות רגשות.
בשל הגעגועים לאוליבייה בניו יורק התעמתה לי עם רוב שחקני הסט, והחלה לסלוד מתעשיית הסרטים בכלל וממשחק בפרט.
נישואים ופרויקטים משותפים.
בפברואר 1940 הסכימה ג'יל אסמונד להתגרש מאוליבייה, והולמן נתן את הסכמתו להתגרש מוויוויאן לי (אף על פי שהם המשיכו לשמור על חברות הדוקה לכל אורך חייה). אסמונד קיבלה את המשמורת על טרקווין, בנה מאוליבייה, והולמן קיבל את המשמורת על סוזן, בתו מוויוויאן לי.
ב-30 באוגוסט 1940 התחתנו לי ואוליבייה בסנטה ברברה שבקליפורניה. בטקס נכחו רק העדים, קתרין הפבורן וגרסון קאנין.
בתקווה לשחק יחד עם אוליבייה, ערכה לי מבחן בד לסרט "רבקה" בבימויו של אלפרד היצ'קוק, שבו היה אוליבייה מועמד לתפקיד הראשי. אבל סלזניק העיר במבחן הבד ש"היא לא נראית מתאימה מבחינת הכנות, הגיל או התמימות", דעה לה היה שותפים גם היצ'קוק והמורה הרוחני של אוליבייה, הבמאי ג'ורג' קיוקור. סלזניק גם ציין שהיא לא גילתה התלהבות יתרה לשחק את התפקיד עד קבלת האישור הרשמי לליהוקו של אוליבייה בתפקיד הראשי. בסופו של דבר, לוהקה לתפקיד ג'ואן פונטיין. בנוסף, סירב סלזניק לאפשר לה להצטרף לאוליבייה בסרט "גאווה ודעה קדומה" שהופק בשנת 1940, וגריר גרסון קיבלה את תפקיד אליזבת בנט שאותו ביקשה לי לעצמה.
במלודרמה "גשר ווטרלו" (1940) היו לי ואוליבייה אמורים לשחק יחדיו, אך סלזניק בחר להחליף את אוליבייה ברוברט טיילור, שהיה אז בשיא הצלחתו המקצועית ונחשב לכוכב אולפני מטרו גולדווין מאייר (MGM). עצם העובדה שהשם ויוויאן לי הופיע בראש רשימת שמות השחקנים בכתוביות הסרט העיד כאלף עדים על מעמדה בעיר הסרטים, ואף שגילתה הסתייגות מאי ליהוקו של אוליבייה לתפקיד הגברי הראשי, נחל הסרט הצלחה רבה הן בקרב הקהל הרחב והן בביקורת מבקרי הקולנוע.
בהמשך, העלו לי ואוליבייה יחדיו את המחזה "רומיאו ויוליה" במסגרת הפקת תיאטרון בברודוויי. העיתונות בניו יורק התמקדה ביחסי הניאוף שקיימו בתחילת זוגיותם, והטילה ספק ברמת האתיקה שהפגינו בכך שלא חזרו לארץ מולדתם אנגליה כדי לקחת חלק במאמץ המלחמתי של מלחמת העולם השנייה. ברוקס אטקינסון מהניו יורק טיימס כתב בטורו ש"אף על פי שגב' לי ומר אוליבייה הם אנשים צעירים ויפים, הם כמעט ולא מגלמים את הדמויות שלהם". אף שרוב הביקורת התמקדה ביכולת המשחק והבימוי של אוליבייה, גם ויוויאן לי ספגה לא מעט חיצי ביקורת. ברנרד גרבנייר ציין ש"איכות הקול הדלה שלה מזכירה את זו של זבנית בחנות פשוטה". בני הזוג השקיעו כמעט את כל חסכונותיהם בהפקה הזו, וכישלונה היה עבורם אסון כלכלי.
בשנת 1941 הם הפיקו את הסרט "ליידי המילטון" שבו גילם אוליבייה את דמותו של הוריישו נלסון וויוויאן לי גילמה את אמה המילטון. באותם ימים, כשאנגליה הייתה בעיצומה של מלחמת העולם השנייה, היה הסרט אחד ממספר סרטים שנעשו בהוליווד במטרה לעורר רגשות פרו-אנגליים בקרב הקהל האמריקני. הסרט זכה להצלחה בארצות הברית, ולהצלחה גדולה אף יותר בברית המועצות. וינסטון צ'רצ'יל אף יזם את הקרנת הסרט במסיבה שבה השתתף גם פרנקלין דלאנו רוזוולט, ובסוף ההקרנה הוא פנה למשתתפים וציין "רבותיי, חשבתי שהסרט יעניין אתכם מעצם היותו מציג אירועים שדומים לאירועים שאנחנו שותפים להם כיום". בני הזוג אוליבייה היו חביבים מאוד על צ'רצ'יל, ולכל אורך חייו הם נענו לו ברצון רב בכל הזמנה לאירוע או לארוחה רשמית.
לאחר שובם לאנגליה יצאה ויוויאן לי בשנת 1943 לחזית צפון אפריקה במטרה להופיע בפני חיילים, עד שנפלה למשכב עם שיעול וחום ממושכים. בשנת 1944 אובחנה אצלה שחפת בריאה השמאלית, אך לאחר מספר שבועות של אשפוז בבית חולים, נראה היה שהיא הבריאה לחלוטין. באביב 1945, במהלך צילומי "קיסר וקלאופטרה", גילתה שהיא הרה, אך הפילה את ולדה.
היא החלה לסבול מדיכאון עמוק, שבין ביטוייו היו התפרצויות זעם קשות שכוונו על פי רוב כלפי לורנס אוליבייה. עם הזמן השכיל אוליבייה לחזות את המקרים הללו, שהתפרצו בדרך כלל לאחר תקופה רצופה של פעלתנות יתר שהביאה אחריה התמוטטות נפשית קשה. לי עצמה לא זכרה ממקרים אלה דבר וחצי דבר, אך עצם הידיעה על קיומם גרמה לה מבוכה רבה.
בשנת 1946 היא הייתה בריאה דיה לחזור לשחק בהפקה לונדונית מוצלחת של ת'ורנטון ויילדר בשם "בעור שינינו", אך הסרטים בהם השתתפה באותה תקופה, "קיסר וקלאופטרה" (1945) ו"אנה קארנינה" (1948), לא זכו להצלחה גדולה.
בשנת 1947 קיבל אוליבייה תואר אבירות, ולי הצטרפה אליו להכתרה בארמון בקינגהאם. היא הפכה באופן רשמי ל"ליידי אוליבייה", תואר שהמשיכה לעשות בו שימוש עד יום מותה, גם לאחר גירושיה מאוליבייה.
בשנת 1948 כיהן אוליבייה במועצת המנהלים של תיאטרון אולד ויק, והוא ולי יצאו יחדיו לסיור באוסטרליה ובניו זילנד במטרה לגייס כספים עבור התיאטרון. במהלך ששת חודשי הסיור, שיחק אוליבייה במחזה "ריצ'רד השלישי", ויחד עם לי שיחק ב"בית הספר לשערוריות" וב"בעור שינינו". הסיור נחל הצלחה אדירה, ואף על פי שוויוויאן לי סבלה במהלכו מנדודי שינה קשים, היא אפשרה לממלאת מקומה בהצגה להחליפה למשך שבוע כשהייתה חולה. על פי רוב הצליחה לי לעמוד בדרישות שהוטלו עליה, כשאוליבייה מציין בתוך כך את יכולתה "להקסים את העיתונות".
כמה מחבריהם לסיור ידעו לספר במועד מאוחר יותר שבין השניים פרצו כמה וכמה מריבות לאורך הסיור, שאחת הדרמטיות שבהן הייתה בעיר כרייסטצ'רץ', כשלי סירבה לעלות לבמה. אוליבייה בתגובה סטר לה, והיא סטרה לו חזרה וגידפה אותו, עד שעלתה בסופו של דבר לבמה. בימים האחרונים לסיור היו שניהם כבר תשושים לחלוטין וחולים למדי, ואוליבייה אף ציין בפני עיתונאי ש"אולי אתה לא יודע, אבל אתה מדבר עם זוג מתים-חיים". במועד מאוחר יותר הוא אף ציין שהוא איבד אותה כבר באוסטרליה.
יחד עם זאת, הצלחת הסיור עודדה את בני הזוג להופיע בפעם הראשונה יחדיו על בימות הווסט אנד הלונדוני במחזותיהם המוכרים, ואף במחזה "אנטיגונה" שהתווסף לנוכח התעקשותה של ויוויאן לי לשחק בטרגדיה.
"חשמלית ושמה תשוקה".
לי ביקשה לגלם את דמותה של בלנש דובואה בהפקת התיאטרון בווסט אנד למחזה "חשמלית ושמה תשוקה" של טנסי ויליאמס. היא נבחרה לאחר שוויליאמס ומפיקת המחזה, איירין מאייר סלזניק, ראו אותה בסרט "בית הספר לשערוריות" ובהצגה "אנטיגונה". אוליבייה נבחר לביים את המחזה. המחזה עורר מחלוקת קשה, מאחר שנכללו בו סצנת אונס ואזכורים שונים של מתירנות מינית והומוסקסואליות. התייחסות התקשורת למחזה תרמה לחרדותיה ולמצבה הנפשי המעורער של לי, אך היא ראתה חשיבות רבה בהפקתו ובהשתתפותה בו.
ג' ב' פריסטלי ביקר קשות את המחזה ואת הופעתה של ויוויאן לי בו, והמבקר קנת' טיינאן (מי שהיה ידוע בביקורתו הארסית כלפיה) העיר שהבחירה בה הייתה גרועה במיוחד מאחר שהשחקנים האנגלים "מאופקים מכדי להביע רגשות באופן משכנע על בימת תיאטרון". אוליבייה ולי התאכזבו לגלות שהצופים באו להצגה במטרה לצפות בדרמה שטופת זימה ומלאת שערוריות, ולא בדרמה היוונית שהם עצמם ראו לנגד עיניהם, אך המחזה זכה גם לביקורות טובות, גם מצד מבקרים כדוגמת נואל קאוורד, שתיאר את ויוויאן לי כ"מרשימה".
לאחר 326 הופעות ירד המחזה מעל הבמות, אך עד מהרה הוחתמה לי לגלם את דמותה של בלנש דובואה בגרסה הקולנועית של היצירה. חוש ההומור החצוף ולעיתים הגס שלה, איפשר לה לבסס יחסי קרבה של ממש עם מרלון ברנדו שכיכב לצידה, אך היא נתקלה בקשיים לא מעטים בעבודתה עם הבמאי איליה קאזאן, שלא העריך אותה כשחקנית דגולה. עם זאת, בשלב מאוחר יותר ציין קאזאן ש"יש לה מעט כישרון", אך ככל שהתקדמה ההפקה, הוא "נתמלא הערצה להחלטיות הרבה שלה בהשוואה לזו של כל שחקנית אחרת שאי פעם הכרתי. היא הייתה מסוגלת לזחול על זכוכית שבורה, אילו סברה שזה יתרום להופעתה". לי חשה עייפות רבה בגילום דמותה של בלנש דובואה גם על סט הצילומים של הסרט, וצוטטה בלוס אנג'לס טיימס "היו לי תשעה חודשים של בלנש דובואה בתיאטרון, ועכשיו היא כבר השתלטה עליי לחלוטין".