El 1 de mayo, Graf fue ascendido a subteniente, a la vez que se le destinaba al escuadrón de caza n° 52 ("Jagdgeschwader 52"), el 6 de octubre de ese mismo año. El 14 de octubre de 1940 fue transferida su unidad a Rumania, donde tomó parte en la formación de los pilotos de dicho país, aliado de los alemanes. Para finales de mayo de 1941 fue enviado a Grecia junto con un destacamento del III./JG-52 para servir de apoyo a la prevista invasión alemana de Creta. Durante dicho período, tomó parte en numerosas misiones de ataque a tierra.