Gollob va néixer a Graz. El 1933 s'allistà al Bundesheer austríac com a oficial cadet, i un any després completà el seu curs de pilot. Comandà una unitat d'entrenament, el "Schulstaffel A". Quan Àustria va ser annexionada per l'Alemanya Nazi el 1938, Gollob s'uní a la Luftwaffe amb rang d'Oberleutnant. El 15 de març de 1939, Gollob va ser destinat al 3./ZG 76, equipat amb el caça de dos motors Bf 110.