Trenerem reprezentacji Niemiec w piłce nożnej został w 1926. Podczas mistrzostw świata w 1934 we Włoszech reprezentacja pod jego wodzą osiągnęła pierwszy duży sukces, zajmując trzecie miejsce. Dwa lata później, podczas turnieju olimpijskiego w Berlinie niemiecka drużyna przegrała w drugim meczu z Norwegią, odpadając z turnieju, co stało się bezpośrednią przyczyną odwołania Nerza z funkcji trenera kadry narodowej i zastąpienia go przez Seppa Herbergera.