Đầu tháng 6 năm 1942, List được điều đến mặt trận Xô-Đức chỉ huy "cụm tập đoàn quân A", một cụm tập đoàn quân thành lập từ tập đoàn quân phía nam tham gia Chiến dịch Kavkaz bao gồm tập đoàn quân xe tăng số 1, số 4 và hai tập đoàn quân dã chiến của Đức số 11 và 17, tập đoàn quân số 8 của Ý. Nhiệm vụ của ông là dùng Rostov làm bàn đạp, vượt qua dãy Kavkaz để tiến chiếm Baku, cắt nguồn năng lượng phục vụ chiến tranh của Liên Xô. Quân Đức sau những thắng lợi ban đầu tại vùng đồng bằng, khi bắt đầu tiếp cận dãy núi lớn Caucasus đã mất đà tiến công, dần dần bế tắc trên hướng chính và bị chặn lại tại tuyến sông Terech và các đèo ngang của dãy Kavkaz. Nguyên nhân chính là do thiếu sự tiếp tế xăng dầu cần thiết cũng như hiệu quả của các đơn vị thiết giáp Đức giảm xuống đáng kể trước các dãy núi. Về thực chất chiếm Kavkaz là nhiệm vụ còn quá cao đối với Bộ tổng tư lệnh tối cao của Hitler.