Angkatan Darat ke-4 mengambil bagian dalam Operasi Barbarossa pada 1941 sebagai bagian Satuan Darat Grup Tengah yang dipimpin oleh Fedor von Bock dan mengambil bagian dalam Pertempuran Minsk dan Pertempuran Smolensk. Pada tanggal 19 desember 1941, Kluge mengundurkan diri bersama dengan Bock dan Field Marshal Walther von Brauchitsch. Kluge digantikan oleh Jenderal Ludwig Kübler.