שלטונו של ז'וזף לא היה אהוד בספרד, ופרצה נגדו התקוממות. המתקוממים נהנו מתמיכתן של האימפריה הבריטית וממלכת פורטוגל. בקיץ 1812 נפלה הבירה מדריד לזמן מה לידי המורדים לאחר קרב סלמנקה. בקרב ויטוריה שנערך ב-21 ביוני 1813, נחלו הכוחות הצרפתים והספרדים בפיקודו של ז'וזף תבוסה מידי המורדים, אשר נתמכו בידי חיל משלוח בריטי-פורטוגלי בפיקוד ארתור ולסלי (לימים הדוכס מוולינגטון). ז'וזף עצמו כמעט שנפל בשבי, ולאחר התבוסה נטש סופית את כס מלכותו ושב לצרפת, שם התקבל בזעם על ידי אחיו ונצטווה לפרוש לאחוזתו ללא תפקיד רשמי. במהלך מלחמת הקואליציה השישית, העניקה ז'ולי מקלט לאחותה דזירה במורטפונטין. מכיוון שדזירה הייתה יורשת העצר של שוודיה, ובעלה הוביל את הכוחות השוודיים נגד צרפת, היא נחשבה לאזרחית אויב. כאשר המלחמה נטתה לצד השני, וכוחות בעלות הברית התקדמו אל פריז, גמלה דזירה לאחותה וארחה את ז'ולי ובנותיה בביתה.