Între anii 1936 - 1964, Herberger a fost antrenorul echipei naționale de fotbal a Germaniei. El este considerat în Germania un antrenor legendar care a realizat Minunea de la Berna, când echipa Germaniei a învins în Finala Campionatului Mondial de Fotbal 1954, echipa națională de fotbal a Ungariei, echipă clar favorită, supranumită și "echipa de aur" a Ungariei, o senzație în lumea fotbalului. Eveniment sportiv transpus pe ecran în anul 2003 prin filmul german Das Wunder von Bern.