Som trener er han mest kjent for å ha vært assistenttrener under Helmut Schön (1970-78) og hovedtrener (1978 til 1984 for Vest-Tyskland. I denne perioden fikk Vest-Tyskland EM-gull og VM-sølv