После Олимпиады виновным в провальном выступлении сборной был назван Отто Нерц. Его должен был заменить Зепп Хербергер, но Нерц отказался покинуть свой пост и постоянно конфликтовал с Хербергером. Только в 1938 году Нерца уволили, а Хербергер занял пост тренера. Сборная под его руководством выиграла квалификацию к чемпионату мира 1938 года, обыграв команды Эстонии, Финляндии и Швеции. В апреле 1938 года после аншлюса Германия сыграла памятную встречу с Австрией в знак объединения стран, в которой австрийцы одержали уверенную победу. После игры немецкое футбольное руководство заявило, что по крайней мере половину сборной должны составлять австрийцы как более опытные игроки. Но это решение стало ошибкой: австрийские профессионалы и немецкие любители в сборной зачастую конфликтовали, взаимные недоверие и неприязнь стали неотъемлемой частью жизни команды.