Dresdner SC ve FC St. Pauli takımlarında 2 lig şampiyonluğu yaşayıp, 4 kez gol kralı olduktan sonra futbolu bıraktı. 1954'ten itibaren Alman millî takımı teknik direktörü Sepp Herberger'in yardımcılığına getirildi.Teknik direktörlük görevini 1966'da Herberger'den devraldı. Alman millî takımına 1972 Avrupa Şampiyonluğu'nu ve 1974 FIFA Dünya Kupası'nı kazandırdı.1976 Avrupa Futbol Şampiyonası'nda final oynattı.1978 FIFA Dünya Kupası'ndan sonra yerini yardımcısı Jupp Derwall'e bıraktı.