Han trente det tyske ungdomslandslaget frem til 1990, og fungerte som assistenttrener for det tyske A-landslaget fra 1986. I 1990 ble han forfremmet til forbundskaptein, og ledet Tyskland til EM-gull i 1996 før han sluttet i 1998. I august 2001 ble han trener for .