Herberger var tysk landstræner i to omgange, først i perioden 1932-1942 (de første fire år som assistenttræner) og senere for Vesttyskland i perioden 1950-1964. Udover triumfen i 1954 stod han også i spidsen for holdet ved VM i 1938, 1958 og 1962.