Vào đầu cuộc Chiến tranh Vệ quốc vĩ đại, ông chỉ huy các đội hình pháo binh của Quân đoàn cơ giới 7. Kazakov đã tham gia các trận Smolensk và Moskva, đồng thời phát triển các phương pháp sử dụng pháo chống tăng mới được toàn quân áp dụng. Vào tháng 7 năm 1942, ông được bổ nhiệm làm chỉ huy pháo binh của Rokossovsky tại Phương diện quân Bryansk. Với tư cách đó, ông tiếp tục làm việc với Tướng Rokossovsky tại các Phương diện quân Stalingrad, Don, Trung tâm và Belorussia 1. Vào ngày 17 tháng 11 năm 1942, ông trở thành Trung tướng và được phong hàm Thượng tướng vào ngày 18 tháng 9 năm 1943. Kazakov là một trong những nhà hoạch định các tuyến phòng thủ sâu Kursk. Ông đã tham gia Cuộc tấn công Hạ Dnepr, Chiến dịch Bagration và trong các trận chiến bên trong nước Đức. Vì những đóng góp của mình trong Cuộc tấn công Vistula-Oder, Kazakov đã được trao tặng danh hiệu Anh hùng Liên Xô (Huân chương số 5871) vào ngày 6 tháng 4 năm 1945.