12 июля 1943 года полковник Булгаков назначен врид командира 15-й Сивашской стрелковой дивизии. После перегруппировки она вошла в состав 29-го стрелкового корпуса 70-й армии и участвовала в Орловской наступательной операции. 7 августа Булгаков был отстранен от командования и зачислен в распоряжение Военного совета фронта, а в октябре назначен командиром 260-й стрелковой дивизии, входившей в состав 53-го стрелкового корпуса 11-й армии Белорусского фронта. Участвовал с ней в Гомельско-Речицкой наступательной операции, в форсировании реки Сож и овладении городом Гомель. С переходом к обороне на подступах к городу Жлобин и расформированием 11-й армии дивизия вместе с корпусом перешла в 63-ю армию, а в январе 1944 года выведена в резерв Ставки ВГК и включена в 70-ю армию. В феврале она в составе 125-го стрелкового корпуса была переброшена в район города Сарны, где вошла в 47-ю армию. В ее составе участвовала в наступательных боях на ковельском направлении, в Белорусской наступательной операции, форсировании реки Западный Буг и овладении крепостью Прага (предместье Варшавы). За образцовое выполнение заданий командования в боях на ковельском направлении она получила почетное наименование «Ковельская» и была награждена орденом Красного Знамени. В декабре 1944 года полковник Булгаков был отозван на учебу на курсы при Высшей военной академии им. К. Е. Ворошилова, а через четыре месяца переведен на основной курс.