Tháng 9 năm 1944, Cụm tập đoàn quân Nam Ukraina ở miền Đông Hungary được đổi tên thành Cụm tập đoàn quân Nam. Sau các thất bại liên tiếp trong chiến dịch hồ Balaton, Cụm tập đoàn quân Nam bị buộc đẩy lùi về Tây Hungary, và tiếp tục lùi về Áo. Sau thất bại tại Viên đầu tháng 4 năm 1945, nó được đổi tên thành Cụm tập đoàn quân Ostmark vào ngày 2 tháng 4 năm 1945. Nó đã kết thúc cuộc chiến trong và xung quanh nước Áo cũng như Vùng bảo hộ Bohemia và Moravia. Sau chiến dịch Graz-Amstetten, Cụm tập đoàn quân Ostmark tan rã, một bộ phận của nó rút về phía Tây và đầu hàng trước quân Mỹ, khoảng 122.000 binh sĩ và sĩ quan bị Hồng quân bắt giữ.