Gollob voluntariou-se para o serviço militar nas Forças Armadas da Áustria em 1933. Em Março de 1938, depois da anexação da Áustria na Alemanha Nazi, Gollob foi transferido para a Luftwaffe. Em 1939 Gollob foi colocado na Zerstörergeschwader 76 (ZG 76), uma asa de caças pesados. Ele obteve a sua primeira vitória aérea no dia 5 de Setembro de 1939, durante a Invasão da Polónia. Gollob obteve mais uma vitória aérea durante a Batalha da Baía de Heligoland e mais duas durante a Campanha da Noruega. Depois, foi transferido para a Jagdgeschwader 3 (JG 3), passando a pilotar o caça monomotor Messerschmitt Bf 109. Durante a Batalha de Inglaterra, ele obteve a sua sexta e última vitória na Frente Ocidental.