Nascido em Imst, Tirol, Gorbach serviu no Exército Austro-Húngaro na Frente Italiana na Primeira Guerra Mundial, foi gravemente ferido na Batalha de Caporetto em 1917 e perdeu uma perna. Após a guerra, ele iniciou uma carreira política na Primeira República da Áustria. Ele se juntou ao Partido Social Cristão e de 1929 a 1932 foi conselheiro municipal em Graz, Styria. Em 1937 ele foi nomeado ministro ("Landesrat") no governo do estado da Estíria, no entanto, após o "Anschluss" austríaco à Alemanha nazista em março de 1938, Gorbach foi demitido e mantido como prisioneiro político no campo de concentração de Dachau de 1938 a 1942, e novamente em Flossenburg de 1944 até o final da Segunda Guerra Mundial.