Hermann Graf fue destinado tras su ingreso en la aviación militar al "Jagdgeschwader 51" (II./JG-51), un escuadrón de cazas equipado con aviones Messerschmitt Bf 109 E1, teniendo el grado de sargento.