Under forberedelsene før den tyske invasjon av Sovjetunionen, operation Barbarossa, ble Gollnick den 1. juni 1941 tatt ut av sitt regiment for i dtedet å bli plasert i befalsreserven. Samme dag ble han forfremmet til generalmajor og ansett som beredt til å lede større enheter enn regimenter. I oktober fikk han befalet over 36. Infanterie-Division og kom frem til Ørtfronten og det pågående slaget om Moskva. Den 21. november 1942 fikk han Jernkorsets ridderkors for sin divisjons innsats i området omkring Rzjev.