Nach dem Reichsarbeitsdienst trat er am 4. Dezember 1936 als Offizieranwärter in das Heer beim Infanterieregiment 13 ein. Am 1. Juli 1938 wechselte er als Oberfähnrich zur Luftwaffe, in der er nach Absolvierung seiner Ausbildung zum Jagdflieger als Leutnant dem Jagdgeschwader 52 zugeteilt wurde. In diesem Geschwader sollte er die meiste Zeit des Zweiten Weltkrieges verbringen. Seinen ersten Luftsieg errang er am 18. Mai 1940 bei Metz. Diesem sollten im Verlauf des Krieges noch 274 weitere bestätigte Luftsiege folgen. 1941 kam das Geschwader bei den Kämpfen von Kreta sowie beim Unternehmen Barbarossa zum Einsatz. Nachdem er im November 1941 abgeschossen worden war, musste er bis Juli 1942 wegen einer schweren Rückenverletzung im Wiener Universitätsklinikum behandelt werden. Dabei lernte er seine spätere Ehefrau kennen. Er kehrte in sein Geschwader zurück und wurde in der Folgezeit zu einem der erfolgreichsten Jagdflieger der Luftwaffe. Er wurde wegen seiner Erfolge von der Propaganda zum Idol stilisiert und erhielt hohe Auszeichnungen. Diese Tatsachen halfen ihm im Jahre 1943, ein Gerichtsverfahren gegen sich ohne Konsequenzen zu überstehen (seine spätere Frau hatte im Jahre 1938 in Wien mehreren jüdischen Bürgern nach dem Anschluss Österreichs bei der Ausreise geholfen).