Bij de aanvang van Operatie Barbarossa, de inval in de Sovjet-Unie, fungeerde het Duitse 2e Leger als reserve van Heeresgruppe Mitte. Op 2 juli 1941 werd het leger geactiveerd en ingezet om de omsingelde Sovjetlegers bij Minsk te vernietigen. Daarna vormde het leger de rechterflank van Heeresgruppe Mitte. De divisies waren van middelmatige kwaliteit en daarom kreeg het leger slechts taken van secundair belang. Tijdens de Slag om Smolensk rukten de infanteriedivisies van het 2e leger op in het spoor van de pantserdivisies van Pantsergroep 2. Na zware gevechten vernietigde het 2e leger een omsingeld Sovjetkorps bij Mogilev en daarna stak het leger de Dnjepr over. Na een hergroepering zwenkte het leger naar het zuidoosten. De infanteriedivisies ondervonden moeite om het tempo van de tanks te volgen. Nadat ze een zwakke tegenaanval hadden afgeslagen, dreven de Duitsers de Sovjets terug naar de Desna. Op 19 augustus veroverde het 2e leger Gomel. Terwijl Pantsergroep 2 verder naar het zuiden oprukte om de Sovjets bij Kiev te omsingelen, beschermde het 2e leger de achterhoede van de pantserdivisies tegen aanvallen van verspreide Sovjetlegers.