A 2004-es szezonban nem nyert versenyt – csapattársa, Jarno Trulli azonban győzött Monacóban. Az év második felében azonban Trulli eredményei egyre gyengébbek lettek, végül három futammal a szezon vége előtt elbocsátották a csapattól, noha ekkor még több ponttal rendelkezett a világbajnoki pontversenyben, mint Alonso. 59 ponttal végül Alonso a világbajnokság negyedik helyét szerezte meg. Az R24-es autó már megbízhatóbb volt, mert öt kiesése volt, ebből Kanadában műszaki hiba miatt, Belgiumban motorhiba miatt esett ki.