Début 2004, Toyota reste nettement le dernier des trois grands constructeurs présents derrière Ferrari et Renault. Mike Gascoyne, arrivé trop tard pour avoir une incidence sur la TF104, apporte des évolutions à chaque Grand Prix mais les performances ne décollent pas. Durant l'été, le directeur sportif Ange Pasquali et le pilote Cristiano Da Matta, malgré sa sixième place à Monaco, sont renvoyés. Ricardo Zonta remplace son compatriote puis Jarno Trulli, tout juste débarqué de chez Renault, arrive en fin de saison. Toyota n'a pas pu faire mieux qu'une cinquième en course avec Olivier Panis aux États-Unis, et stagne à la huitième place du championnat, avec moins de points qu'en 2003.