В дальнейшем дивизия Карлова продолжала вести боевые действия на 2-м Украинском фронте, с февраля 1945 года — на 3-м Украинском фронте. Она освобождала Венгрию, Австрию, Чехословакию. Дивизия по-прежнему успешно действовала в Ясско-Кишинёвской, Бухарестско-Арадской, Дебреценской, Будапештской наступательных операциях, в Балатонской оборонительной операции, в Венской и Грацско-Амштеттенской наступательных операциях. Победу он встретил у города Грац в Восточных Альпах. В конце 1944 года, уже будучи генералом, Карлов получил своё второе ранение в Венгрии.