Горбах је био син аустријског свештеника и потицао је из традициналне хришћанске породице. Његова породица се преселила у Штајерску због очевог посла. Он је завршио гимназију у Грацу, а ишао је и у верску школу јер су родитељи хтели да и он буде свештеник. У октобру 1917, са 19 година је регрутован је у Првом светском рату у војску Аустроугарске, а учествовао је у бици за Бовец, где је тешко рањен у ногу. Када је Аустија постала независна учланио се у Хришћанску социјалну партију. Од 1929. до 1932. је био у окружном савету у Грацу. Учланио се у Патриотски фронт која је била једина активна странка током диктатуре Енгелберта Долфуса. Од 1937. па до Аншлуса 1938. је био члан покрајинске владе Штајерске.