1941年5月にJG 52／第III飛行隊はクレタ島侵攻のメルクール作戦支援のためにギリシャに移動した。この期間、部隊はほとんどを地上攻撃任務のために飛行した。6月の初めに部隊は再びルーマニアに戻り、6月22日からバルバロッサ作戦支援に参加した。8月1日にJG 52はウクライナの前線基地に移動し、8月4日にグラーフはキエフ攻撃に向かうユンカース Ju 87の護衛中にポリカルポフ I-16を撃墜し最初の戦果を挙げた。この時、グラーフは自身の「射撃眼」を開眼し、更なる戦果を急速に積み上げていった。