Anschlussin jälkeen hän siirtyi Kolmannen valtakunnan upseerikaartiin. Siirto oli hänelle helppo, koska hän oli natsi. Hän otti osaa Puolan miehitykseen, jossa yhteydessä saavutti ensimmäiset ilmavoittonsa. Seuraavat ilmataistelut liittyivät Norjan miehitykseen. Hän osallistui myös "Taisteluun Britanniasta". Hän siirtyi Neuvostoliiton vastaiselle rintamalle heti Operaatio Barbarossan alussa. Hän saavutti 53 ilmavoittoa kahtena syyskesän kuukautena ja peräti yhdeksän voittoa yhtenä päivänä. Joulukuussa 1941 hänet vedettiin kotirintamalle Bf 109:n kehitysversion koelentoihin. Keväällä 1942 hän oli Krimin rintamalla. Lokakuussa 1942 hänet siirrettiin Ranskaan esikuntatehtäviin. Huhtikuussa 1944 Gollob nimitettiin General der Jagdflieger Adolf Gallandin esikuntaan. Hänestä tuli koelentämisen johtaja. Hän johti Ardennien vastahyökkäyksen hävittäjätoimintaa. Tammikuussa 1945 hänestä tuli General der Jagdflieger. Hän saavutti kaikkiaan 150 ilmavoittoa 340 lennolla, joka on harvinaisen suuri voittojen lukumäärä lentojen lukumäärään nähden.