Han begynte sin trenerkarriere i 1974 i Kickers Offenbach. Han var fram til 1981 i flere forskjellige klubber, før han ble ansatt i Werder Bremen. Rehhagel omgjorde Bremen fra et middelmådig lag til å bli et topplag. Men det tok noen år før suksessen virkelig kom. I 1988 og 1993 ble Bremen tyske seriemestere og de vant også cupen i 1991 og 1994. I 1992 vant Bremen Cupvinnercupen. Etter 14 år i Werder Bremen, ble han i 1995/96-sesongen trener for Bayern München. Men oppholdet hos Bayern var ikke spesielt vellykka, med sjetteplass i Bundesliga, men de kom til finalen i UEFA-cupen. Men Rehhagel fikk sparken tre uker før finalen og klubblegende Franz Beckenbauer overtok midlertidig, og Bayern vant UEFA-cupen i 1996.