Vor den Parlamentswahlen am 14. März 2004 war Rubalcaba für die Wahlkampfstrategie der PSOE verantwortlich. Als sich nach den Madrider Zuganschlägen vom 11. März 2004 am Vortag der Wahlen eine Menschenmenge vor dem Parteisitz der PP versammelte und die Abwahl Aznars forderte, wurde ihm von der PP vorgeworfen, diese nicht genehmigte Demonstration organisiert zu haben; der Vorwurf ließ sich aber nicht nachweisen. Nach dem Wahlsieg der PSOE am 14. März wurde Rubalcaba Vorsitzender der PSOE-Fraktion im Parlament.