Etter at han la opp som spiller, var han trener for Borussia Mönchengladbach i åtte år, der han etterfulgte Udo Lattek. Fra 1987 til 1991 trente han Bayern München, og vant to tyske mesterskap (1989 og 1990).