Fin 2001, le limogeage de Craig Pollock et son remplacement par David Richards fragilisent la position de Villeneuve au sein de l'écurie. Tandis que le niveau des BAR-Honda en 2002 repart à la baisse, l'écurie terminant huitième du championnat, les performances du Québécois, jugées insuffisantes compte-tenu de son salaire, sont régulièrement pointées par le nouveau directeur. En effet, Villeneuve n'inscrit des points qu'à deux reprises (quatrième en Grande-Bretagne et sixième aux États-Unis et termine douzième du championnat avec quatre points. À l'issue d'une saison 2003 perturbée par les conflits internes et durant laquelle il est sèchement battu par le jeune Jenson Button qui termine neuvième quand le Canadien est seizième, Villeneuve est limogé par Richards à la veille du dernier Grand Prix de la saison et remplacé par le Japonais Takuma Satō.