1965 és 1967 között a Borussia Mönchengladbach segédedzője volt. Az 1967–68-as idényben a Rot-Weiß Essen csapatánál mutatkozott be, mint vezetőedző. 1968 és 1973 között az Eintracht Frankfurt, 1973 és 1978 között az 1. FC Kaiserslautern együtteseinek szakmai munkáját irányította. 1978-ban az újdonsült szövetségi kapitány, Jupp Derwall segítője lett a nyugatnémet válogatottnál. Derwall 1984-es lemondása után egy idényre a Borussia Dortmund vezetőedzője lett. 1985 és 1988 között Bayer Leverkusen tevékenykedett. Az 1987–88-as idényben UEFA-kupa győztes lett a csapattal. Az 1992–93-as idényben a Bayern München vezetőedzője volt, majd az 1995–96-os szezonban visszatért a leverkuseni csapathoz. 1998-ban a német válogatott szövetségi kapitánya lett. A 2000-es Európa-bajnokság kudarcát követően lemondott posztjáról.