Poté podepsal tříletou smlouvu s týmem Sauber a pro rok 2001 závodil po boku nováčka Kimiho Räikkönena. Po ukončení kariéry Miky Häkkinena si mnoho lidí myslelo, že právě Heidfeld jej v týmu McLaren nahradí. Tak se ovšem nestalo a Nick odjel sezónu se Sauberem. V celkovém bodování porazil Räikkönena a získal dokonce své první stupně vítězů, to bylo v Brazilské Grand Prix. Místo u McLarenu mu pro další roky vyfouknul Räikkönen a Heidfeld zůstal v Sauberu ještě v letech 2002 a 2003. V těch letech se nijak výrazně neprosazoval a pohyboval se v bodování na začátku druhé desítky.