ב-1936, לאחר שגרמניה הודחה במפתיע ברבע גמר הטורניר האולימפי על ידי נבחרת נורווגיה, התפטר נרץ והרברגר מונה למאמן הנבחרת במקומו. מרגע מינויו, החל הרברגר להקדיש את כל כולו לנבחרת הגרמנית. המבחן הראשון של הרברגר היה מונדיאל 1938, שאליו הגיעה גרמניה כאחת המועמדות לזכייה. למרות הציפיות המוקדמות, הפסידה גרמניה כבר בסיבוב הראשון לשווייץ והודחה מהטורניר. הרברגר טען שההדחה המוקדמת נבעה מכך שהשלטונות בברלין הכריחו אותו לשתף שחקנים מאוסטריה, שבאותו הזמן כבר הייתה תחת שליטה גרמנית.