Graf había efectuado estudios de gestión y, tras haber obtenido su carnet como piloto de planeador en 1932 y el de piloto de aviones de motor en 1936, entró en la "Luftwaffe", siguiendo en la misma cursos avanzados de pilotaje entre los años 1936 y 1938, en medio de una intensa actividad de expansión del arma aérea en la Alemania nazi.