Mladý Johann vstoupil v roce 1922 do rakouské armády. Již jako poručík ("Leutnant") byl v roce 1928 zařazen do pilotního kurzu. V srpnu 1933 se stal velitelem stíhací eskadry a poté velel rakouské 1. stíhací skupině ("Jagdgruppe 1"). Brzy vešel v známost jako výborný akrobatický letec. Po anšlusu Rakouska v roce 1938 a po zařazení rakouského "Bundesheeru" do německé "Wehrmacht" byl zařazen jako velitel skupiny ("Gruppenkommandeur") k IV./Jagdgeschwader 134 (IV. letka 134. stíhací eskadry). Jeho jednotka byla záhy přejmenována a stala se dne 1. května 1939 základem pro III./Zerstörergeschwader 26.