Xuất thân từ một người lính bình thường trong giai đoạn cuối của Nội chiến Nga, Kazakov trở thành chính ủy trong những năm 1920 nhưng chuyển sang các vị trí chỉ huy và tham mưu từ giữa những năm 1920. Ông trở thành tham mưu trưởng Quân khu Trung Á vào thời điểm Chiến dịch Barbarossa bắt đầu, và các năm 1942 và 1943, ông giữ chức tham mưu trưởng và phó chỉ huy mặt trận, đồng thời giữ chức tư lệnh Tập đoàn quân 69 trong Trận chiến Kharkov lần thứ ba. Kazakov chỉ huy Tập đoàn quân cận vệ 10 từ đầu năm 1944 khi nó tiến vào các nước Baltic và phong tỏa Cái túi Courland. Sau chiến tranh, ông trở thành chỉ huy của Cụm binh đoàn phía Nam và Quân khu Leningrad, kết thúc sự nghiệp của mình với chức vụ Phó tổng tham mưu trưởng thứ nhất.