המתקפה הידועה כקרב חרקוב השני החלה ב-12 במאי 1942 והסתיימה בתבוסה קשה של הצבא האדום. ביוני 1942 שוחרר בגרמיאן מהפיקוד על החזית והורד בתפקידו לקצין המבצעים של הארמייה ה-28.