קרולינה מבראונשווייג-וולפנביטל
בגלות

לאחר ביקור של שבועיים בבראונשווייג, פנתה הנסיכה קרוליין לכיוון איטליה דרך שווייץ. בעיר מילאנו, היא שכרה את ברתולומאו פרגאמי (Pergami) כעוזר אישי. הוא הצליח בתפקידו והתקדם לתפקיד מנהל משק הבית. באמצע 1815, קנתה קרוליין את הווילה ד'אסטה (Villa d'Este) על חופו של אגם קומו, למרות מצבה הכלכלי המתוח.
מתחילת 1816, נצפו הנסיכה קרוליין ומר פרגאמי כשהם בשיט סביב הים התיכון, נצפו אוכלים ארוחות ערב ביחד בגלוי, והשמועה הנרחבת הייתה כי הם מאהבים. מסעותיהם פורטו בעיתונות, כשהם מבקרים בתוניס, מלטה, מילוש, אתונה, קורינתוס, קונסטנטינופול, ואף בנצרת. הנסיכה קרוליין נכנסה לירושלים כשהיא רכובה על חמור בשיירה של גמלים. "עוזרה האישי" מר פרגאמי אף קיבל את התואר של אביר מסדר ירושלים. באוגוסט אותה שנה הם חזרו לאיטליה, ואף עצרו לביקור בותיקן.
באותו זמן נכתבה הרכילות על הנסיכה קרוליין בכל מקום. הלורד ביירון עצמו קיים ויכוח עם המוציא לאור שלו בטענה כי הנסיכה קרוליין ומר פרגאמי היו נאהבים. בהוראת המלך העוצר ג'ורג' הרביעי, מונו מרגלים ששיחדו את אחד המשרתים של הנסיכה קרוליין, על מנת שיבדקו את חדר השינה שלה וימצאו ראיות ממשיות לניאוף. התנהגותה לכאורה של הנסיכה קרוליין לא הייתה רק שערורייתית באנגליה השמרנית של אותה תקופה, ולא טמנה בחובה רק בושת פנים קשה לנסיכה קרוליין, שלא יכולה הייתה להמשיך להיראות בציבור אילו הוכח כי נאפה. מעבר לכך, עם קבלת הוכחה להיותה נואפת, ניתן היה לקיים גירושים גם ללא הסכמתה, לבטל את כל קשריה עם בית המלוכה ועם האצולה באירופה ואת מעמדה המיוחס. מעבר לסיום המערכת המורכבת והמביכה לבית המלוכה, ניתן היה גם להפסיק את התשלומים ששולמו עבורה בכל שנה. אך בחיפושיהם של המשרתים המרגלים בחדר השינה של הנסיכה קרוליין לא נמצאה הוכחה לניאוף. עם זאת, הנסיכה חיה באורח חיים שלא התאים למצבה הכלכלי, המבוסס על קצבה בלבד. עד אוגוסט 1817 תפחו חובותיה של הנסיכה, והיא נאלצה למכור את הווילה שבה התגוררה ולעבור למגורים זולים יותר, בסמוך למגורי משפחתו המורחבת של מר פרגאמי בצפון איטליה.
בתחילת 1817 היה רגע של שמחה בחייה של קרוליין, כאשר בתה, הנסיכה שארלוט, נישאה ללאופולד הראשון, מלך הבלגים, וקרוליין היא אף הורשתה, לאור התעקשות בתה, להגיע לטקס הנישואים.
ואז הכתה הטרגדיה: בנובמבר 1817, נפטרה הנסיכה שארלוט בעת שילדה את בנה היחיד, שנולד מת. הנסיכה שארלוט הייתה פופולרית ביותר בציבור, ומותה הכה בתדהמה את המדינה. המלך ג'ורג' הרביעי סירב לכתוב על כך לאימה הנסיכה קרוליין, ואסר על בית המלוכה הבריטי ליצור עמה קשר. אמנם לא הייתה לו יכולת למנוע מהחתן האבֵל ליאופולד להודיע לה זאת, אך ליאופולד עצמו היה באבל, והתעכב בכתיבת ההודעה. הנסיכה קרוליין שמעה את החדשות על אובדן בתה דרך צד שלישי בלבד.
מעבר לטרגדיה של אובדן בתה, איבדה הנסיכה קרוליין גם כל סיכוי להשבת מעמדה הציבורי, באמצעות הרצף של ישיבת בתה על כס המלוכה בעתיד.
המלך ג'ורג' היה נחוש בדעתו להתקדם עם תהליך הגירושין. הוא הקים ועדה בראשותו של סגן השר ג'ון ליץ', כדי לאסוף ראיות לניאוף מצידה של קרוליין. ליץ' שלח שלושה נציבים למילאנו כדי לחקור את משרתיה לשעבר של קרוליין. בשנת 1819 הודיעה הנסיכה קרוליין כי תסכים להתגרש תמורת תשלום נכבד, מבלי להודות בניאוף. דרישתו של המלך ג'ורג' הייתה חד-משמעית, ומאחר שהנסיכה קרוליין לא הסכימה להודות בדבר, לא ניתן היה לקיים גירושין. בשלב זה, בבריטניה, לא היו אפשריים גירושין של מלך מכהן ומלכה-רעייה בהיעדר הסכמה, אלא אם אחד השותפים הודה או נמצא אשם בניאוף, דבר שקרוליין לא הסכימה לו. המלך והמלכה הרעיה לא חיו ביחד מאז נישואיהם, ובאופן פרדוקסלי, דווקא למלך עצמו היו כמה פילגשים כמו מרי רובינסון, שחקנית שקיבלה קצבה נדיבה לאחר שאיימה למכור לעיתונות את המכתבים שהוא כתב לה, גרייס אליוט שהייתה גרושתו של רופא ופרנסס ויליירס, הרוזנת מג'רזי, שבמשך כמה שנים שלטה בחייו של הנסיך. בשלב מאוחר יותר של חייו היו לג'ורג' מאהבות נוספות מחוגי האצולה שהיו נשים נשואות. במסגרת מערכות היחסים הללו אף נולדו לו כמה ילדים בלתי חוקיים. ייתכן כי הדבר נחווה על ידיו ועל ידי סביבתו הקרובה כדבר נורמטיבי במצבו, וייתכן לא, אך איש לא הגדיר זאת כניאוף.
נציגי הממשלה דנו עם הנסיכה בהפחתת מעמדה הציבורי, ובמתן תואר אחר, כגון "הדוכסית מקורנוול" ולא "נסיכת ויילס". המשא ומתן נמשך בשנת 1819. אך ב-29 בינואר 1820 מת המלך ג'ורג' השלישי. בעלה ג'ורג' שהיה יורש העצר, הפך למלך, וקרוליין עצמה הייתה אמורה, לפחות להלכה, לקבל את התואר מלכה רעיה של הממלכה המאוחדת.