I 2001 tapte han valget stort til Anders Fogh Rasmussen, etter en valgkamp der innvandring var ett av de store emner i debatten. Nyrup fortsatte som partiformann i opposisjonen, og forsøkte å nyskape partiet ved å bytte ut nestformenn og partisekretær, og skifte partinavn fra Socialdemokratiet til Socialdemokraterne. Men etter bare et år valgte han sent i 2002 å gå av og overlate plassen til Mogens Lykketoft.