בתקופה זו נשלחה יחידתו של גרף לרומניה כחלק מהסיוע הגרמני לשלטון הימני שם. במאי 1941 הועבר הלהק ליוון וגרף ביחד עם טייסי הלהק לקח חלק בקרב על כרתים, שם הם השתתפו בעיקר במשימות תקיפה קרקעיות. לאחר מכן בתחילת יוני חזר הלהק לרומניה שם השתתף גרף בקרבות הפתיחה של מבצע ברברוסה, בתחילת אוגוסט הועבר הלהק לאוקראינה ושם ב-4 באוגוסט השיג גרף את ההפלה הראשונה שלו; מטוס פוליקרפוב I-16 של חיל האוויר הסובייטי.