Po skončení hráčské kariéry se stal úspěšným trenérem. V letech 1990–1998 vedl německou reprezentaci, vyhrál s ní mistrovství Evropy roku 1996 a na Euru 92 skončil druhý. Vedl též reprezentace Skotska, Kuvajtu, Nigérie a od roku 2008 trénuje reprezentaci Ázerbájdžánu.