Angkatan Darat ke-2 didirikan pada 20 Oktober 1939, dipimpin oleh Jenderal Maximilian Reichsfreiherr von Weichs. Tugas pertamanya di Prancis, Angkatan Darat yang terlibat dalam invasi dari Balkan, sebelum operasi ofensif di Ukraina sebagai bagian dari Operasi Barbarossa. Pada tahun 1942 Angkatan Darat ke-2 melindungi sayap utara dari operasi Fall Blau yang beroperasi di kota Voronezh dan menderita kekalahan besar selama serangan Soviet musim dingin yang mengikuti pertempuran Stalingrad.