In 1935 speelde het land 17 vriendschappelijke wedstrijden en koos vaak zwakke tegenstanders uit om zo het nationale gevoel aan te wakkeren als het team dan won. Nadat het voetbal in 1932 niet op het olympische programma stond maakte de sport zijn terugkeer op de Spelen in Berlijn in 1936. De Duitsers begonnen ijzersterk tegen het weliswaar zwakke Luxemburg met een 9-0 overwinning. In de tweede ronde sloeg Noorwegen de Duitse droom van een gouden medaille echter al aan diggelen. De nederlaag werd gezien als een catastrofe door het politieke regime. Adolf Hitler woonde voor het eerst een wedstrijd bij van de Mannschaft. Het was tevens de laatste keer dat een Duits A-elftal deelnam aan de Spelen. Na de Spelen werd een zondebok gezocht voor de nederlaag en dat werd trainer Otto Nerz, hoewel het bondsvoorzitter Felix Linnemann was die de spelers gekozen had die moesten spelen. Sepp Herberger werd de nieuwe bondscoach en hij zou tot 1964 aanblijven. Herberger leidde het team naar het WK in Frankrijk.