אסנאר הבטיח להסתפק בשתי קדנציות כראש ממשלה ועמד בהבטחתו. בבחירות הכלליות שנערכו בספרד במרץ 2004 הוא תמך במריאנו רחוי כיורשו, ונראה היה ש-PP עומדת לנצח שוב והוא יעביר אכן את הלפיד ליורשו המיועד; אלא שאז אירעו פיגועי 11 במרץ 2004 במדריד. באותו יום, שלושה ימים לפני מועד הבחירות, ביצעו טרוריסטים מוסלמים שפעלו בהשראת אל-קאעידה, שרשרת של עשרה פיגועים בו-זמניים במערכת הרכבות של מדריד, הרגו 191 איש ושינו את התמונה גם מבחינה פוליטית. הממשלה הזדרזה להאשים את המחתרת הבסקית, ומשהתברר עוד לפני הבחירות עצמן, כי המבצעים הם מוסלמים, גרם הדבר לירידה חדה באמון של הספרדים בממשלתם. הטענה הייתה שזוהי נקמת המוסלמים בספרד על השתתפותה במלחמת עיראק לצד בריטניה וארצות הברית, וכי הממשלה ניסתה להסתיר זאת על ידי הטיית האשמה כלפי המחתרת הבסקית. מפלגת הפועלים הסוציאליסטית הספרדית האופוזיציונית, שעמדה להפסיד בבחירות קודם לכן, ניצחה, וב-17 באפריל 2004 החליף מנהיגה חוסה לואיס רודריגס ספאטרו את אסנאר כראש ממשלת ספרד.