Auch in sportlicher Hinsicht konnte sich Nerz mit den Nationalsozialisten arrangieren, da diese die Fußballnationalmannschaft gerne als Propagandainstrument nutzen wollten. Er unterstand nun dem nationalsozialistischen Fachamt Fußball, das seine Aufgabe darin sah, mithilfe des Fußballs die Überlegenheit der deutschen Rasse zu demonstrieren. Diese Hoffnung konnte Nerz bereits bei der Weltmeisterschaft 1934 teilweise erfüllen, mit Platz 3 (3:2 über Österreich) erreichte die Nationalmannschaft ihren bis dahin größten Erfolg. Zur Vorbereitung auf das Fußballturnier der Olympischen Spiele 1936 in Berlin setzte das Fachamt 1935 die Rekordzahl von 17 Länderspielen an. Davon wurden 13 gewonnen, lediglich die Begegnungen mit Spanien (1:2), Schweden (1:3) und England (0:3) gingen verloren. Damit ging die deutsche Nationalmannschaft als einer der Favoriten in das olympische Turnier. Nach einem leichten 9:0-Sieg über Luxemburg war Norwegen der nächste Gegner im K.-o.-System. Mit Blick auf die nachfolgenden schwereren Aufgaben erhielt Nerz vom Fachamts-Leiter Felix Linnemann die Anweisung, die Leistungsträger der Mannschaft zu schonen. Daraufhin ließ Nerz eine Mannschaft mit zahlreichen Reservespielern auflaufen. Unter den Augen des an sich am Fußball nicht interessierten Adolf Hitler unterlag Deutschland mit 0:2. Diese Niederlage, mit der Deutschland aus dem Turnier ausschied, wurde zum Politikum, Nerz wurde vom Fachamt zwangsbeurlaubt, und sein Assistent Sepp Herberger übernahm beim nächsten Länderspiel am 13. September 1936 gegen Polen die Aufgaben des Reichstrainers. Am 27. September 1936 im Spiel gegen die Tschechoslowakei in Prag saß Nerz aber wieder auf der Bank, und Herberger verantwortete das am selben Tag stattfindende Spiel gegen Luxemburg, in dem vier Spieler ihr Länderspieldebüt gaben und weniger Stammspieler als gegen die Tschechoslowakei im Einsatz waren.