Specialista delle prove tecniche, Franz Gruber nel 1976 vinse la medaglia d'argento nello slalom speciale agli Europei juniores di Gällivare e nel 1979 ottenne il primo piazzamento di rilievo in Coppa del Mondo, classificandosi 10º in slalom speciale il 5 febbraio a Jasná. Il 15 febbraio di due anni dopo a Åre conquistò il suo primo podio nel circuito, sempre in slalom speciale, piazzandosi 3º alle spalle dello statunitense Phil Mahre e dello svedese Ingemar Stenmark. Convocato per i Mondiali di Schladming 1982, ottenne l'8º posto nello slalom speciale e l'anno seguente a Kranjska Gora vinse lo slalom speciale di Coppa del Mondo del 30 gennaio, aggiudicandosi così l'unica vittoria di carriera nel circuito.