Gollob nació en Viena. En 1933 se alistó al Bundesheer austríaco como oficial cadete, y un año después completó su curso de piloto. Comandó una unidad de entrenamiento, el "Schulstaffel" A. Cuando Austria fue anexionada por la Alemania nazi el 1938, Gollob se unió a la Luftwaffe con rango de Oberleutnant. El 15 de marzo de 1939, Gollob fue destinado al 3./ZG 76, equipado con el caza de dos motores Bf 110.