Reprezentację prowadził w latach 1964–1978, łącznie w 139 meczach międzypaństwowych. Czterokrotnie wprowadził zespół do finałów mistrzostw świata. W 1966 jego podopieczni zdobyli srebrny medal, w 1970 brązowy, a w 1974 złoty. Pod jego wodzą reprezentacja Niemiec zdobyła także złoty medal Mistrzostw Europy w 1972 i srebrny w 1976. Stworzona przez niego drużyna z 1972, z Seppem Maierem, Franzem Beckenbauerem, Paulem Breitnerem, Günterem Netzerem i Gerdem Müllerem w składzie, jest uważana za najsilniejszą w historii niemieckiego futbolu. Odszedł po nieudanych finałach (odpadnięcie w II rundzie) Mistrzostw Świata 1978.