В марте 1943 года он был переведен заместителем командира 34-й гвардейской стрелковой дивизии, находившейся на доукомплектовании после боев под Сталинградом. С апреля 1943 года дивизия входила в состав 31-го гвардейского стрелкового корпуса 5-й ударной армии Южного фронта. В июне Казаков был освобождён от должности и в августе назначен заместителем командира 126-й стрелковой дивизии. В её составе проявил себя смелым и бесстрашным офицером. В августе — сентябре 1943 года дивизия участвовала в Донбасской наступательной операции, ведя наступление в направлении города Горловке, и 4 сентября освободила этот город. В ознаменование одержанной победы она была удостоена наименования «Горловская» (08.09.1943). В октябре дивизия была передислоцирована в район Молочанска, где заняла оборону по западном берегу реки Молочной. С 16 октября её части в составе 51-й армии Южного, затем 4-го Украинского фронтов участвовали в Мелитопольской наступательной операции. За образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом доблесть и мужество она была награждена орденом Красного Знамени (23.10.1943). В апреле — мае 1944 года дивизия в составе 2-й гвардейской армии 4-го Украинского фронта участвовала в Крымской наступательной операции. За образцовое выполнение боевых заданий командования при прорыве сильно укрепленной обороны противника на Перекопском перешейке и в озерных дефиле на южном побережье Сиваша она была награждена орденом Суворова 2-й степени (24.04.1944), а за освобождение Севастополя — орденом Красного Знамени (24.05.1944). После завершения боев в Крыму дивизия в составе армии была выведена в резерв Ставки ВГК и переброшена в район городов Ельни и Дорогобужа.