Зепп Гербергер почав свою кар'єру тренера в клубі «Теніс-Боруссія». 1932 року він став тренером Західнонімецькій збірної, а через рік, вступивши в НСДАП, виріс до помічника головного тренера збірної Отто Нерца, але після програшу німецької команди на Олімпіаді 1936, 10 жовтня 1936 року, Фелікс Ліннеманн запросив Гербергера стати головним тренером збірної Німеччини, на що фахівець відповів згодою. Влада поставила перед Гербергером завдання зробити команду з німців і австрійців, які приєдналися до Німеччини після Аншлюсу, хоча сам тренер пропонував зробити дві незалежні одна від одної збірні Німеччини та Австрії. Але на чемпіонаті світу Німеччина ще в першому раунді програла 2:4 Швейцарії й вибула з турніру, однак, у зв'язку з початком другої світової війни, Гербрегер залишався на чолі збірної до 1942 року. Збірна Німеччини під керівництвом Гербергера з 15 листопада 1936 року по 22 листопада 1942 провела 65 матчів, у яких здобула 40 перемог, 12 разів зіграла внічию і 13 разів програла.