Al comenzar la Operación Barbarroja en junio de 1941, Moskalenko era comandante de una brigada anti-tanque. Entre esa fecha y marzo de 1942 dirigió las siguientes unidades, en este orden: 1.ª Brigada Anti-Tanque, 15º Cuerpo de Rifles, 6º Ejército y 6º Cuerpo de Caballería. Entre marzo y julio de 1942 fue comandante del recién reformado 38º Ejército. Fue así mismo comandante del Ejército de Tanques (julio-agosto de 1942) y del Ejército de Guardias (agosto-octubre de 1942), antes de recibir el mando del 40º ejército (ya lejos del Frente de Voronezh), puesto que mantuvo hasta octubre de 1943. Moskalenko dirigió sus tropas durante la contraofensiva de invierno y durante la Batalla de Kursk. Debido a sus contribuciones a lo largo de buen número de las batallas clave, como Moscú, Stalingrado y Kursk, fue galardonado con la Estrella Dorada de Héroe de la Unión Soviética.