30 березня 1944 група армій «А» перейменована в групу армій «Південна Україна». З'єднання групи армій провели наступ на Кавказі, після припинення якого перейшли до оборонних дій. Надалі з'єднання групи армій відступали з території Північного Кавказу і були відтиснені на Таманський півострів, звідки відступили до Криму і на територію Південної України. У період літа 1943 року — навесні 1944 року з'єднання групи армій «А» відступали під ударами Червоної Армії, ведучи оборонні бої на лівому і правому берегах Дніпра, в Західній Україні, в Молдавії.