19 сентября 1943 года допущен к командованию 338-й стрелковой дивизией. В составе 33-й армии участвовал с ней в Смоленско-Рославльской наступательной операции. С выходом на рубеж Луки — Тормаль — Мекулино ее части вынуждены были приостановить наступление и перейти к обороне. С 6 по 22 октября дивизия находилась во втором эшелоне, затем совершила марш в район восточнее Орши и включена в состав 31-й армии. Со 2 января 1944 года она была передана 5-й армии и находилась в резерве в районе юго-восточнее Витебска. В апреле полковник Гузь был направлен на учебу в Высшую военную академию им. К. Е. Ворошилова, по окончании ее курсов направлен на 1-й Украинский фронт и по прибытии с 7 декабря допущен к исполнению должности заместителя командира 43-го стрелкового корпуса 59-й армии. В его составе участвовал в Сандомирско-Силезской, Верхнесилезской и Пражской наступательных операциях.