Operatsioon Barbarossa ajal käsutas Guderian 2. soomusgruppi (hiljem 2. Soomusarmee) väegrupi Mitte koosseisus. Tema diviisid mängisid pearolli Nõukogude armeede ümberpiiramistes Minski, Smolenski, Kiievi ja Brjanski all. Hilisem operatsioon Moskva ümberpiiramiseks kukkus läbi ning Guderian, kel oli juba varem eriarvamusi nii Hitleri kui ka tema otsese ülemuse Klugega, vabastati 25. detsembril 1941. aastal armeejuhataja kohalt. Järgmised neliteist kuud veetis ta nö ""väejuhatajate reservis"". Sel ajal elas üle raske insuldi.