2004 est beaucoup moins bonne, bien qu'il commence la saison en se qualifiant en première ligne aux côtés de Michael Schumacher en Malaisie ; il rate son départ et abandonne peu après sur tête-à-queue. La Jaguar R5 est une monoplace médiocre qui ne peut lui permettre d'atteindre la zone des points à la régulière. Il en inscrit sept, son meilleur résultat étant une sixième place à Hockenheim. Il aurait pu faire mieux s'il n'avait été pris dans des incidents, notamment avec son équipier Christian Klien avec lequel il s'accroche à deux reprises, au départ du Grand Prix du Canada et au Brésil. Treizième du championnat, Mark Webber est déçu de cette seconde saison avec Jaguar.