Gordon Gollob urodził się w Grazu jako Gordon Mc Gollob – jego ojciec był rodowitym Szkotem zamieszkałym w Austrii. W 1933 wstąpił do austriackich sił powietrznych, rok później odbył swój pierwszy lot. Po przyłączeniu Austrii przez Niemcy w 1938 rozpoczął służbę w Luftwaffe w randze porucznika ("Oberleutnant"). Wtedy też w ramach polityki III Rzeszy zmierzającej do zniemczania obco brzmiących nazwisk i nazw musiał się wyzbyć członu "Mc" przed swoim nazwiskiem. 15 marca 1939 został przydzielony do 3./ZG 76, w której pilotował Bf 110.