W 1941 jednostka wzięła udział w Operacji Barbarossa. Parę dni po rozpoczęciu walk, 27 czerwca został wyznaczony dowódcą grupy (Gruppenkommandeur) II./JG 3, i awansowany do stopnia kapitana ("hauptmann"). W stosunku do słabo wyszkolonych pilotów radzieckich sił powietrznych, Gollob mógł pokazywać swoje umiejętności - w sierpniu zestrzelił 18 wrogich maszyn, a 18 września został odznaczony Krzyżem Rycerskim Krzyża Żelaznego za 42 zwycięstwa. W październiku odniósł 37 zwycięstw, w tym 9 w jednym dniu (18 października). 26 października został odznaczony Liśćmi Dębu za odniesienie 85 zwycięstw. W grudniu rozpoczął testy następnej wersji Bf 109.