Fra 2003 til 2008 var han trener for Norges herrelandslag i fotball, en stilling han overtok etter Nils Johan Semb. Hareide trakk seg som landslagssjef 8. desember 2008, etter et av tidenes verste år for det norske landslaget. Landslaget gikk gjennom 2008 uten å vinne én eneste kamp, noe som ikke hadde skjedd siden 1978.