Un bon début de saison 2006 au cours duquel il fait jeu égal avec son équipier Nick Heidfeld semble renforcer sa position au sein de l'équipe. Il termine notamment septième en Malaisie et sixième en Australie. Mais progressivement, il est rattrapé par les critiques, liées notamment aux performances du pilote-essayeur Robert Kubica jugées, par son équipe, supérieures à celles des pilotes titulaires. Au surlendemain du Grand Prix d'Allemagne, au cours duquel il s'accroche avec son coéquipier avant de partir à la faute plusieurs tours plus tard et de taper violemment le mur de pneus, il annonce à son employeur qu'en raison de douleurs physiques consécutives à son accident, il n'est pas en mesure de disputer l'épreuve suivante, en Hongrie. BMW Sauber titularise alors Robert Kubica ; ce qui ne devait être qu'un intérim se transforme en une mise à l'essai en vue du remplacement de Villeneuve jusqu'à la fin de la saison. Au lendemain du Grand Prix de Hongrie, BMW Sauber annonce par un communiqué de presse avoir trouvé un accord avec le pilote québécois pour mettre un terme anticipé à son contrat. Il quitte ainsi la Formule 1 au bout de 163 Grands Prix et termine sa dernière saison à la quinzième place, avec sept points.