Herberger toimi Saksan maajoukkueen päävalmentajana vuodesta 1936 vuoteen 1964 sekä johti joukkuetta MM-kisoissa vuosina 1938, 1954, 1958 ja 1962. Hän johdatti Saksan sen ensimmäiseen maailmanmestaruuteen vuonna 1954.