După invadarea Uniunii Sovietice în iunie 1941, OKH a fost responsabil în primul rând pentru planificarea operațiunilor militare de pe acel front, în timp ce Înaltul Comandament al Forțelor Armate ("Oberkommando der Wehrmacht" sau OKW) era responsabil pentru planificarea operațiunilor militare de pe celelalte fronturi. În septembrie 1942 generalul Halder a fost înlocuit din funcția de șef al Statului Major General de către generalul Kurt Zeitzler. Heusinger a rămas șef al "Operationsabteilung" și a fost avansat la gradul de Generalleutnant la 1 ianuarie 1943. În iunie 1944 Zeitzler s-a îmbolnăvit, iar pe 10 iunie Heusinger a preluat temporar postul de șef al Statului Major General al Armatei de Uscat. În această calitate, a participat la întâlnirea comandanților militari germani cu Hitler de la "Wolfschanze" din 20 iulie 1944 și stătea chiar lângă Hitler atunci când a explodat bomba plasată acolo de colonelul Claus von Stauffenberg.