הרכילות על הבעיות בנישואין של הנסיכה קרוליין והנסיך ג'ורג' נידונו בעיתונות במהרה. בניגוד לדיווחי בית המלוכה, העיתונות טענה כי כל מכתביה של הנסיכה נפתחים ונקראים על ידי עוזרי הנסיך לפני הגיעם אליה, וכי בית המלוכה אינו מתיר לה לצאת מהבית ללא אישורו של הנסיך ג'ורג'. העיתונות השמיצה את הנסיך ג'ורג' על הפזרנות הרבה שלו, על חיי ההוללות המוחצנים שכללו שתייה, הרפתקאות ומספר רב של מאהבות, ועל בזבוז כסף על מוצרי יוקרה ועל עיצוב מופרז ויקר של ארמונו, בתקופה בה היו בלונדון חסרי בית רבים כולל ילדים שרעבו ללחם ברחובות וקפאו מקור בחורף. החל מגיל 21 קיבל ג'ורג' מענק של 60,000 ליש"ט (6 מיליון ליש"ט בערכים של היום) מהפרלמנט והחל לקבל מאביו קצבה שנתית של 50,000 ליש"ט (5 מיליון ליש"ט בערכים של היום). סכומים אלה היו קטנים מדי לצרכיו, עלותן של האורוות לבדן עמדה על 31,000 ליש"ט לשנה. הוא הקים את מעונו בבית קרלטון וחי בו חיי הפקרות. בנוסף למערכת יחסיו עם הנסיכה קרוליין, תוארה גם מערכת יחסים של עוינות שהתפתחה בין הנסיך לבין אביו, שציפה לאורח חיים חסכוני יותר מצדו של יורשו.
קרוליין זכתה לפופולריות רבה בעיתונות ובציבור הרחב, והפופולריות שלה הרחיקה אותה אף יותר מהנסיך ג'ורג'. בשלב מוקדם הוא כבר תיאר את עצמו למקורביו כלכוד בנישואים חסרי אהבה עם אישה שהוא תיעב, ורצה להיפרד.
באפריל 1796, כתב ג'ורג' לקרוליין, "לצערנו לא היה ביכולתנו למצוא אושר באיחוד שלנו, ...ולכן אני מתחנן בפנייך לעשות את המעשה הנכון ביותר במצב המצער עבור שנינו, ולהתגרש". באוגוסט 1797 עברה קרוליין להתגורר בנפרד בבית פרטי, עם בת כומר. בהמשך עברה להתגורר בנפרד לגמרי. על פי השמועות שהפיץ בית המלוכה, מאחר שכבר לא הייתה מוגבלת על ידי בעלה, היא אירחה את מי שרצתה. תואר כי היא פלירטטה עם האדמירל סידני סמית, ואף עם המדינאי ג'ורג' קנינג.
בתה, הנסיכה שרלוט, הושמה בהוראת המלך בטיפול של אומנת, באחוזה נפרדת, בסמוך למעון הקיץ של בית המלוכה במונטגיו. בתחילה ביקרה אותה קרוליין לעיתים קרובות. העיתונות דיווחה כי עם הוצאת הבת שרלוט מרשותה, לא הגיע לסיפוקו היצר האימהי של קרוליין, ולכן היא אספה לביתה שמונה או תשעה ילדים עניים מהמחוז ושימשה להם כמשפחה אומנת. ב-1802, היא אימצה ילד בן שלושה חודשים, וויליאם אוסטין, ולקחה אותו לביתה. לאחר מריבה עם שכניה סר וליידי ג'ון דאגלס בשנת 1805, האשימה אותה הגברת דאגלס בניאוף, ובכך שהילד וויליאם אוסטין היה לכאורה בן לא חוקי של קרוליין.
בהמשך הוקמה ועדה פרלמנטרית שחקרה את הנושא, וגלתה כי אין בדברים שחר. עם זאת, הטענות על התנהגות "לא מוסרית" מצד הנסיכה קרוליין לא נשללו.
בידוד חברתי.
בסוף שנת 1811, הובן כי המלך ג'ורג' השלישי לוקה במחלה נפשית ואינו כשיר להיות המונרך. בנו ג'ורג' נסיך ויילס מונה כעוצר. כעת, בתפקידו הרשמי כמונרך, הגביל ג'ורג' אף יותר, את הגישה של קרוליין לבתם הנסיכה שרלוט. קרוליין הפכה למבודדת חברתית אף יותר מקודם, כאשר אנשי ונשות החברה הגבוהה בלונדון התבקשו "לבחור צד" ובחרו בצידו של יורש העצר והעוצר ג'ורג'. קרוליין נדרשה לבן ברית רב עוצמה, פנתה לפוליטיקאים שונים, בעיקר מהמפלגה הוויגית, שחלקם עוד תמכו בהדחתו מכס המלוכה של המלך ג'יימס השני, בשנות השמונים של המאה ה-17, והתנגדו לבית הנובר עליו נמנה המלך ג'ורג'. היא ניסתה להתחיל במסע תעמולה נגד ג'ורג', התנהלותו והחלטותיו, כולל ההחלטה לבודד אותה מהחברה הגבוהה ולמנוע ממנה לראות את בתה. היא גייסה אנשי ציבור שונים, שהביעו עמדות בציבור לטובתה, כולל למשל הסופרת המוערכת ג'יין אוסטן, ואחרים.
ב-1814, אחרי תבוסת נפוליאון, עלתה האצולה מכל רחבי אירופה ללונדון להשתתף בחגיגות הניצחון. על קרוליין נאסר להשתתף בחגיגות או להתקרב לאירועים. מערכת היחסים של ג'ורג' עם בתו המתבגרת, הנסיכה שרלוט, החלה להידרדר, לאחר שדרשה לראות יותר את אימה, ואף ברחה לביתה. הנסיכה שרלוט הוחזרה על ידי אנשי החצר, ונאסר עליה לפגוש בהמשך עם אימה.
עקב המצב, ולאחר שהרגישה בדרך ללא מוצא, קיימה קרוליין משא ומתן עסקה עם שר החוץ, הלורד קאסלריי. היא הסכימה לעזוב את המדינה בתמורה לקצבה שנתית של 35,000 פאונד. באוגוסט 1814, קרוליין עזבה את בריטניה.
בגלות.
לאחר ביקור של שבועיים בבראונשווייג, פנתה הנסיכה קרוליין לכיוון איטליה דרך שווייץ. בעיר מילאנו, היא שכרה את ברתולומאו פרגאמי (Pergami) כעוזר אישי. הוא הצליח בתפקידו והתקדם לתפקיד מנהל משק הבית. באמצע 1815, קנתה קרוליין את הווילה ד'אסטה (Villa d'Este) על חופו של אגם קומו, למרות מצבה הכלכלי המתוח.
מתחילת 1816, נצפו הנסיכה קרוליין ומר פרגאמי כשהם בשיט סביב הים התיכון, נצפו אוכלים ארוחות ערב ביחד בגלוי, והשמועה הנרחבת הייתה כי הם מאהבים. מסעותיהם פורטו בעיתונות, כשהם מבקרים בתוניס, מלטה, מילוש, אתונה, קורינתוס, קונסטנטינופול, ואף בנצרת. הנסיכה קרוליין נכנסה לירושלים כשהיא רכובה על חמור בשיירה של גמלים. "עוזרה האישי" מר פרגאמי אף קיבל את התואר של אביר מסדר ירושלים. באוגוסט אותה שנה הם חזרו לאיטליה, ואף עצרו לביקור בותיקן.
באותו זמן נכתבה הרכילות על הנסיכה קרוליין בכל מקום. הלורד ביירון עצמו קיים ויכוח עם המוציא לאור שלו בטענה כי הנסיכה קרוליין ומר פרגאמי היו נאהבים. בהוראת המלך העוצר ג'ורג' הרביעי, מונו מרגלים ששיחדו את אחד המשרתים של הנסיכה קרוליין, על מנת שיבדקו את חדר השינה שלה וימצאו ראיות ממשיות לניאוף. התנהגותה לכאורה של הנסיכה קרוליין לא הייתה רק שערורייתית באנגליה השמרנית של אותה תקופה, ולא טמנה בחובה רק בושת פנים קשה לנסיכה קרוליין, שלא יכולה הייתה להמשיך להיראות בציבור אילו הוכח כי נאפה. מעבר לכך, עם קבלת הוכחה להיותה נואפת, ניתן היה לקיים גירושים גם ללא הסכמתה, לבטל את כל קשריה עם בית המלוכה ועם האצולה באירופה ואת מעמדה המיוחס. מעבר לסיום המערכת המורכבת והמביכה לבית המלוכה, ניתן היה גם להפסיק את התשלומים ששולמו עבורה בכל שנה. אך בחיפושיהם של המשרתים המרגלים בחדר השינה של הנסיכה קרוליין לא נמצאה הוכחה לניאוף. עם זאת, הנסיכה חיה באורח חיים שלא התאים למצבה הכלכלי, המבוסס על קצבה בלבד. עד אוגוסט 1817 תפחו חובותיה של הנסיכה, והיא נאלצה למכור את הווילה שבה התגוררה ולעבור למגורים זולים יותר, בסמוך למגורי משפחתו המורחבת של מר פרגאמי בצפון איטליה.
בתחילת 1817 היה רגע של שמחה בחייה של קרוליין, כאשר בתה, הנסיכה שארלוט, נישאה ללאופולד הראשון, מלך הבלגים, וקרוליין היא אף הורשתה, לאור התעקשות בתה, להגיע לטקס הנישואים.
ואז הכתה הטרגדיה: בנובמבר 1817, נפטרה הנסיכה שארלוט בעת שילדה את בנה היחיד, שנולד מת. הנסיכה שארלוט הייתה פופולרית ביותר בציבור, ומותה הכה בתדהמה את המדינה. המלך ג'ורג' הרביעי סירב לכתוב על כך לאימה הנסיכה קרוליין, ואסר על בית המלוכה הבריטי ליצור עמה קשר. אמנם לא הייתה לו יכולת למנוע מהחתן האבֵל ליאופולד להודיע לה זאת, אך ליאופולד עצמו היה באבל, והתעכב בכתיבת ההודעה. הנסיכה קרוליין שמעה את החדשות על אובדן בתה דרך צד שלישי בלבד.
מעבר לטרגדיה של אובדן בתה, איבדה הנסיכה קרוליין גם כל סיכוי להשבת מעמדה הציבורי, באמצעות הרצף של ישיבת בתה על כס המלוכה בעתיד.
המלך ג'ורג' היה נחוש בדעתו להתקדם עם תהליך הגירושין. הוא הקים ועדה בראשותו של סגן השר ג'ון ליץ', כדי לאסוף ראיות לניאוף מצידה של קרוליין. ליץ' שלח שלושה נציבים למילאנו כדי לחקור את משרתיה לשעבר של קרוליין. בשנת 1819 הודיעה הנסיכה קרוליין כי תסכים להתגרש תמורת תשלום נכבד, מבלי להודות בניאוף. דרישתו של המלך ג'ורג' הייתה חד-משמעית, ומאחר שהנסיכה קרוליין לא הסכימה להודות בדבר, לא ניתן היה לקיים גירושין. בשלב זה, בבריטניה, לא היו אפשריים גירושין של מלך מכהן ומלכה-רעייה בהיעדר הסכמה, אלא אם אם אחד השותפים הודה או נמצא אשם בניאוף, דבר שקרוליין לא הסכימה לו. המלך והמלכה הרעיה לא חיו ביחד מאז נישואיהם, ובאופן פרדוקסלי, דווקא למלך עצמו היו כמה פילגשים כמו מרי רובינסון, שחקנית שקיבלה קצבה נדיבה לאחר שאיימה למכור לעיתונות את המכתבים שהוא כתב לה, גרייס אליוט שהייתה גרושתו של רופא ופרנסס ויליירס, הרוזנת מג'רזי, שבמשך כמה שנים שלטה בחייו של הנסיך. בשלב מאוחר יותר של חייו היו לג'ורג' מאהבות נוספות מחוגי האצולה שהיו נשים נשואות. במסגרת מערכות היחסים הללו אף נולדו לו כמה ילדים בלתי חוקיים. ייתכן כי הדבר נחווה על ידיו ועל ידי סביבתו הקרובה כדבר נורמטיבי במצבו, וייתכן לא, אך איש לא הגדיר זאת כניאוף.
נציגי הממשלה דנו עם הנסיכה בהפחתת מעמדה הציבורי, ובמתן תואר אחר, כגון "הדוכסית מקורנוול" ולא "נסיכת ויילס". המשא ומתן נמשך בשנת 1819. אך ב-29 בינואר 1820 מת המלך ג'ורג' השלישי. בעלה ג'ורג' שהיה יורש העצר, הפך למלך, וקרוליין עצמה הייתה אמורה, לפחות להלכה, לקבל את התואר מלכה רעיה של הממלכה המאוחדת.
המלכה הרעיה.
במקום לקבל יחס של מלכה, מצאה קרוליין כי, באופן פרדוקסלי, הפך מעמדו החדש של בעלה את מצבה לגרוע יותר הן בבריטניה והן מחוצה לה. בעת שביקרה ברומא, למשל, סירב האפיפיור פיוס השביעי לקבל אותה לחצרו.
מעמדו הציבורי של המלך היה נמוך, ואילו היא הייתה אהובה על ידי חלקים נרחבים מהציבור. המלך ויועציו חששו כי אם תשוב לבריטניה יתקשו להגן על החלטתם להרחיקה מהארמון. שליחי המלך הציעו לנסיכה קרוליין תוספת שנתית גדולה במיוחד, 50,000 פאונד (מעל 5 מיליון ליש"ט בערכים של היום), כדי שלא תשוב עוד לממלכה.