Berbeda dengan musim gemilang di 2003, di 2004 Fernando Alonso sedikit mengalami masa paceklik. Ia memang sempat tampil bagus saat di GP Australia dengan menjadi pembalap satu-satunya yang mampu finish di bawah satu menit di belakang dua Ferrari (Michael Schumacher dan Rubens Barrichello), namun di banyak balapan Alonso kehilangan banyak poin. Salah satunya adalah saat di Monaco, di mana ia kecelakaan akibat menyerempet tembok pembatas., dan juga di Indianapolis, di mana ia lagi-lagi menyerempet tembok, dan harus pulang dengan tangan hampa. Terakhir, Alonso mengalami sial adalah ketika ia harus berhenti saat memimpin Belgia, akibat masalah katup oli pada mobilnya. Kemudian di tiga balapan akhir, Fernando mendapatkan rekan setim baru, yaitu mantan juara dunia F1 1997, Jacques Villeneuve, yang ditarik oleh Renault untuk tiga balapan saja (sebelum akhirnya ia dikontrak oleh Sauber-Petronas), untuk menggantikan posisi Jarno Trulli yang pindah ke tim Toyota. Di akhir musim, banyak spekulasi yang hinggap ke Fernando Alonso. Salah satunya, ia akan segera pindah ke tim Scuderia Ferrari untuk menggantikan Michael Schumacher di 2006. Namun Fernando menyangkal gosip tersebut.