לקראת הבחירות של 2004 קיים אסנאר את הבטחתו לא לרוץ לקדנציה נוספת, והוחלף על ידי מקורבו מריאנו רחוי. למרות שהמפלגה העממית הייתה צפויה לנצח בבחירות, פיגועי 11 במרץ 2004 במדריד שהתרחשו שלושה ימים לפני הבחירות, והתעקשות אנשי המפלגה לרמוז שהם מעשה של המחתרת הבסקית אט"א לאחר שהתברר שטרוריסטים מוסלמים ביצעו את הפיגוע, הובסה המפלגה בבחירות, ועלה חוסה לואיס רודריגס ספאטרו הסוציאליסטי, זאת לאחר שבדעת הקהל, עלתה העמדה כי הקרבה לארצות הברית הפכה את ספרד יעד לטרור.