Навесні 1941 року корпус Грейма був перекинутий на Схід, де увійшов до складу 4-го повітряного флоту (генерал А. Лер), призначеного для підтримки групи армій «Південь». На початку війни проти Радянського Союзу 5-й повітряний корпус воював в Україні, зазнав великі втрати і восени 1941 року був виведений до складу резерву ОКЛ. Надалі використовувався на різних ділянках Східного фронту (наприклад, на початку 1942 року діяв в Криму). У квітні 1942 року Грейм змінив генерала В. фон Ріхтгофена на посту командувача авіаційної оперативною групою «Ост», створеної замість 2-го повітряного флоту. У травні 1943 року ця оперативна група була перетворена на 6-й повітряний флот, командувачем якого було призначено фон Грейма. 6-й повітряний флот підтримував групу армій «Центр». У битві на Курській дузі влітку 1943 року він зазнав великих втрат.