Omdat uit de ervaringen van de Franse veldtocht naar voren kwam dat de pantserdivisies toch wel wat log waren en topzwaar in tanks, werd de verhouding tanks-infanterie omgedraaid. Omdat nog maar één panzerregiment per divisie nodig was, werd Panzerregiment 36 in de herfst van 1940 bij de nieuwe 14e Panzerdivisie ingedeeld. Panzerbrigade 5 wisselde op 27 januari 1941 van de 4e Panzerdivisie naar de 3e Panzerdivisie. Met deze panzerdivisie rukte de brigade de Sovjet-Unie in met Operatie Barbarossa op 22 juni 1941. Oprukkend door Wit-Rusland, zijwaartse beweging naar Kiev en vervolgens in Operatie Taifun richting Moskou. Door de sterkt teruglopende tanksterktes, vatten de Duitsers delen van de 3e, 4e en 18e Panzerdivisie op 22 oktober samen onder Panzerbrigade 5 (weer onder bevel van 4e Panzerdivisie) voor de beslissende aanval op Toela. Deze mislukte. De brigade bleef daarna de rest van de winter 1941/42 in de verdediging.