Bij de mobilisatie voor de Tweede Wereldoorlog, gaf hij zijn commando weer op. Grimmeiss werd tot de chef van de Generale Staf van het 12e Legerkorps benoemd. In deze functie nam hij stelling in het westen. Op 1 oktober 1939 werd hij tot chef van de Generale Staf van het 9e Legerkorps benoemd. In deze functie nam hij deel aan de slag om Frankrijk. Begin 1941 werd hij tot chef van de Generale Staf van het 15e Legerkorps benoemd. Aan het eind van november 1941 werd hij afgelost en in het "Führerreserve" geplaatst. Grimmeiss was inmiddels al met de Herhalingsgesp bij IJzeren Kruis 1939 in beide klasse onderscheiden. Op 1 december 1941 werd hij door het "OKH" naar de Rijksmaarschalk en opperbevelhebber van de Luftwaffe gecommandeerd. Daar werd hij op 1 februari 1942 bevorderd tot "Generalmajor". De rang anciënniteit werd later op 1 april 1942 vastgesteld. Op 1 april 1943 werd hij bevorderd tot "Generalleutnant". Begin 1944 werd Grimmeiss weer in het "Führerreserve" geplaatst. In januari 1945 werd hij met het commando van het 64e Legerkorps belast. Hij werd op 1 april 1945 bevorderd tot "General der Artillerie" en tot "Kommandierender General" van het 64e Legerkorps benoemd. Midden april werd hij weer van zijn commando ontheven.