Po solidnih vožnjah v Formuli 3000 je v sezoni 2000 dobil ponudbo moštva Prost, kjer je dirkal skupaj z veteranom Jeanom Alesijem. Heidfeld se v dirkalniku ni najbolje znašel, pestile so ga predvsem okvare in lastne napake, ki so vodile v nesreče (tudi z Alesijem na Veliki nagradi Avstrije). Brez osvojene točke je moštvo zapustil in podpisal 3-letno pogodbo s švicarskim moštvom Sauber, njegov moštveni kolega pa je bil Finec Kimi Räikkönen. Po odločitvi Mike Häkkinena, da se po sezoni 2001 upokoji, je bil nekaj časa tudi v igri za sedež pri Mclarnu. Vendar pa so namesto njega vzeli Raikkonena, ki je v sezoni zbral 9 točk, Heidfeld pa skupaj (s 3. mestom na Veliki nagradi Brazilije) 13 točk. Nekoliko razočaran je životaril pri Sauberju, dosegel nekaj povprečnih rezultatom, njegova moštvena kolega pa sta bila Heinz Harald Frentzen in Felipe Massa. Ko se mu je po sezoni 2003 iztekla pogodba s švicarskim moštvom, je skorajda ostal brez sedeža. Nanj se je spomnil šele Irec Eddie Jordan, ki je ob Giorgiu Pantanu potreboval dirkača z izkušnjami. Edina uvrstitev med dobitnike točk je bila v Monaku, ko je bil z nekonkurenčnim Jordanom sedmi. Zopet pa ni imel pogodbe za naslednjo sezono. Nanj se je spomnil Frank Williams in po uspešnih testiranjih je dobil prednost pred Antoniom Pizzonio in v ekipi dirkal z Markom Webbrom.