עם חזרתו לחזית, ב-23 במרץ 1942 קיבל גרף את תפקיד מפקד טייסת 9, מספר ימים לאחר מכן השיג את הפלתו ה-58. בתחילת אפריל לשלח הלהק לחצי האי קרים לסייע במערכה כנגד כוחות הצבא האדום שהתבססו שם, במהלך הלחימה גרף ויתר טייסי טייסת 9 השיגו הצלחות מרובות והפילו עשרות מטוסי אויב. עם סיום המערכה ב-19 במאי, להק III נשלחה במהירות לגזרת חרקוב כדי לסייע בהגנה כנגד מתקפת הנגד של הצבא האדום. יומיים לפני כן גרף הגיע לכדי 100 הפלות ועל כך קיבל את 'עלי האלון' לצלב האבירים שלו, עם המעבר לגזרת חרקוב ב-19 במאי מספר ההפלות שלו גדל לכדי 105 ועל כך בהפרש של יומיים קיבל גם 'חרבות' לצלב האבירים שלו.