Åge Hareides fotballiv begynte på Hareid, hvor han hadde sin barndom. Det fortsatte med spill på Hødds gutte- og juniorlag i 1969. I 1970 fikk klubben Ron Meads som trener, og Hareide ble trukket inn i A-lagsstallen. Som niåring debuterte han på Ulsteinviks småguttlag borte mot Skarbøvik i 1962. Småguttklassen er beregnet for 12-14-åringer, men de manglet en spiller og dermed fikk han spille. Han ble hentet til Hødd som gutte- og juniorspiller i 1969. Han debuterte for A-laget mot Hamarkameratene i 1970, under trener Ron Meads. Han ble fast på A-laget påfølgende år. Siden han var så lang og hengslete ble han kalt Jack Charlton av treneren i Hødd. I 1975 begynte han på distriktshøyskolen i Molde, og meldte dermed overgang til fotballklubben i «Rosenes by». De store profilene på dette laget var Jan Fuglset og Harry Hestad. Hareide hevdet seg tidlig, og fikk prøvespille i Spania i 1976. Han ble tilbudt kontrakt, men avslo på grunn av for dårlige betingelser. Turen til Spania ødela for U-21-landskamper i denne perioden. Nils Arne Eggen var landslagssjef for Norges herrelandslag i fotball, og ga Hareide sin debut i Bergen mot Danmark. Tilsammen fikk han 50 landskamper mellom 1976 og 1986. Han ble kåret til årets spiller i norsk fotball av i 1980. Hareide ble den andre spilleren fra Norge som ble profesjonell i England (i en alder av 27), etter Einar Jan Aas. Den gamle Manchester United-spilleren Bill Foulkes var trener i Bryn, og hadde tipset Manchester City om Hareide. Han ble bare værende litt over én sesong i denne klubben, før han ble solgt videre til Norwich City, der han ble værende i ytterligere to sesonger. Han ble kjent som en tøff spiller, men fikk selv erfare den tøffe engelske toppserien. Han mistet flere tenner da Andy Gray sparket til ham da han lå nede etter en takling. Tilsammen sydde han 60 sting i hodet og 25 sting på resten av kroppen i løpet av årene i England.