1924 és 1926 között a Tennis Borussia Berlin edzője volt. 1926-ban a német válogatott első szövetségi kapitányának nevezték ki, melyet addig egy bizottság irányított. Nerz számos angol, osztrák és német bajnoki és kupamérkőzést tanulmányozott és olyan szaktekintélyektől kért tanácsokat, mint Jimmy Hogan, Hugo Meisl vagy Vittorio Pozzo. Először az 1928-as amszterdami olimpián vett részt nemzetközi tornán a válogatottal. A negyeddöntőben a későbbi győztes Uruguayi válogatott szemben 4–1-es vereséget szenvedtek és búcsúztak a további küzdelemtől. A német válogatott az 1930-as világbajnokságra nem nevezett. A következő 1934-es olaszországi világbajnokságon már részt vett a csapat. Belgium és Svédország legyőzése után az elődöntőben Csehszlovákia ellen kikapott a válogatott. A harmadik helyért Ausztria ellen 3–2-re győzött a német válogatott és megszerezte a bronzérmet. Ez az eredmény nagy lökést adott a sportág népszerűségének és fejlődésének Németországban. Ezt követően nagy várakozás előzte meg a válogatott szereplését a hazai rendezésű 1936-os berlini olimpián. Az első mérkőzésen könnyű 9–0-s győzelmet arattak a luxemburgi válogatott ellen. A mérkőzés után a Német labdarúgó-szövetség elnöke, Felix Linnemann utasította Nerzet, hogy több fontos játékost pihentessen a következő Norvégia elleni mérkőzésen a várható későbbi nehezebb feladatok miatt. A tartalékos német válogatott 2–0-s vereséget szenvedett és kiesett az olimpiai versenyből. Ezután Nerzet felmentették és utódja Sepp Herberger lett. Összesen 70 mérkőzésen irányította a válogatott munkáját és mérlege 42 győzelem, 10 döntetlen és 18 vereség volt. 1938-tól Nerz a labdarúgó-szövetségben kapott adminisztratív és edzői feladatokat.