După dezamăgirea în campionatul european, Norvegia a ratat suprinzător calificarea pentru Campionatul Mondial de Fotbal 2002, când a terminat pe locul patru într-o grupă considerată cam slabă. Semb a mai fost criticat, dar a rămas antrenor. În campania pentru calificarea Campionatul European de Fotbal 2004 Norvegia a reușit să ajungă pe locul doi în grupul de calificare, care a rezultat într-o întâlnire cu Spania, în doi meci pentru determinarea calificării la campionatul european. Norvegia a reușit o înfrângere 2-1 destul de respectabilă în deplasare, dar a pierdut acasă 0-3 după un meci dezastruos. Semb s-a retras, și a fost urmărit de Åge Hareide, un antrenor de succes la nivelul cluburi.