Tijdens de inval in Frankrijk fungeerde het 2e Leger als ondersteuning van de Panzergruppe Kleist en Panzergruppe Guderian. Na de campagne werd het leger naar Duitsland teruggetrokken. Onderdelen van het 2e Leger namen in maart 1941 deel aan de aanval op Joegoslavië en Griekenland. Daarna vormde het 2e Leger de zuidelijke flank van Heeresgruppe Mitte tijdens operatie Barbarossa en vocht het aan het oostfront. Na het Russische zomeroffensief van 1944 (Operatie Bagration) trok het 2e Leger zich terug. Op het einde van de oorlog vormde het 2e Leger de verdediging in Oost-Pruisen en West-Pruisen. Zijn koppige verzet gaf duizenden Duitse burgers de kans om naar het westen te ontsnappen. Uiteindelijk gaf het 2e Leger zich op 9 mei 1945 over.