W 2001 r. podpisał trzyletni kontrakt z zespołem Sauber, będąc partnerem debiutującego Kimiego Räikkönena. Gdy Mika Häkkinen oświadczył, że wycofuje się z Formuły 1 po sezonie 2001, wiele osób myślało, że to właśnie Heidfeld zastąpi dwukrotnego mistrza świata w stajni McLaren. Pomimo tego, że spisywał się lepiej od swego partnera z zespołu, stanął na podium podczas Grand Prix Brazylii, to właśnie Räikkönen dostał miejsce w bolidzie stajni z Woking na sezon 2002. Heidfeld jeździł w Sauberze jeszcze w sezonie 2002 i 2003. Po zakończeniu sezonu wydawało się, że Heidfeld nie znajdzie miejsca w żadnym zespole w sezonie 2004.