Før Brøndby ble seriemestre i 2002 (sitt første seriemesterskap siden 1998) sluttet Hareide som hovedtrener for å inngå et «fotballsølibat». Hareide maktet derfor aldri å føre Brøndby til seriemesterskap i sin periode som hovedtrener i klubben. «Fotballsølibatet» holdt i to dager, før han overtok jobben som trener for Rosenborg, etter Nils Arne Eggen. Sesongen 2003 tok Rosenborg både serie- og cupmesterskap under hans ledelse. Da Nils Johan Semb gikk av som landslagstrener, ble Åge Hareide lansert som eneste reelle kandidaten. Han var under kontrakt med Rosenborg, men takket først ja, og deretter nei da han så hvor mye bråk dette medførte. Det ble mye oppstyr i både trønderklubben og i media. Rosenborgs sportslige leder, Rune Bratseth uttalte til media at «Åge Hareide har blitt uspiselig for oss», og dermed fikk han forlate klubben til fordel for landslagsjobben.