Na jaře 1938 bylo k Německu připojeno Rakousko, které bylo tehdy ve fotbale silné, a Herberger dostal příkaz postavit na MS 1938 kombinovaný tým s tím, že má hrát 6 "původních" Němců a 5 Rakušanů. Jenže německá a rakouská reprezentace hrály předtím úplně odlišný fotbal. Němci hráli bojovný, atletický fotbal, zatímco Rakušané hráli technický fotbal. Tak sice patřilo Německo k papírovým favoritům, ale vypadlo hned v 1. kole, když po remíze 1:1 se Švýcarskem prohrálo v opakovaném zápase 2:4.