Gollob est né à Vienne le . En 1933, il rejoint la Bundesheer autrichienne comme élève-officier et, l'année d'après, il termine sa formation de pilotage. En 1936, il commande une unité de formation de pilotage, l'A Schulstaffel. Lorsque l'Autriche est annexée par l'Allemagne en 1938, Gollob rejoint la Luftwaffe avec le grade de Oberleutnant (lieutenant). Le , Gollob obtient le commandement de la III./Zerstörergeschwader 76 (ZG 76) volant sur les bimoteurs Messerschmitt Bf 110.