Trong Chiến tranh Liên Xô-Phần Lan, ông là chỉ huy pháo binh thuộc Sư đoàn súng trường 51. Khi Chiến dịch Barbarossa bắt đầu vào tháng 6 năm 1941, Moskalenko là chỉ huy của một lữ đoàn chống tăng. Trong khoảng thời gian từ tháng 6 năm 1941 đến tháng 3 năm 1942, Moskalenko lần lượt giữ quyền các chỉ huy Lữ đoàn chống tăng số 1, Quân đoàn súng trường 15, Tập đoàn quân đoàn 6 và sau đó là Quân đoàn kỵ binh số 6. Ông là chỉ huy của Tập đoàn quân 38 mới, được cải tổ từ tháng 3 đến tháng 7 năm 1942. Sau đó, ông được bổ nhiệm làm Tư lệnh Tập đoàn quân xe tăng 1 (tháng 7 năm 1942) và Tập đoàn quân Cận vệ 1 (tháng 8 năm 1942) trước khi được chỉ định làm chỉ huy Tập đoàn quân 40, độc lập với Phương diện quân Voronezh, một vị trí ông giữ cho đến tháng 10 năm 1943. Moskalenko chỉ huy đơn vị tham gia cuộc phản công mùa đông và trong Trận Vòng cung Kursk. Vì những đóng góp của ông cho một số lượng lớn các trận đánh quan trọng, như Moskva, Stalingrad, và Kursk, Moskalenko đã được trao tặng danh hiệu Anh hùng Liên Xô.