Pierwszy sukces w karierze Herbert Huber osiągnął w 1966 roku, kiedy został mistrzem kraju w slalomie, a w kombinacji alpejskiej wywalczył srebrny medal. Jeszcze w tym samym roku wziął udział w mistrzostwach świata w Portillo, jednak nie ukończył pierwszego przejazdu slalomu. Największy sukces w karierze osiągnął podczas igrzysk olimpijskich w Grenoble w 1968 roku, gdzie zdobył srebrny medal w gigancie. W zawodach tych rozdzielił na podium Francuza Jean-Claude'a Killy'ego oraz swego rodaka, Alfreda Matta. Był to jego jedyny start olimpijski, a także jedyny medal wywalczony na międzynarodowej imprezie tej rangi. Nie znalazł się w kadrze Austrii na rozgrywane w lutym 1970 roku mistrzostwa świata w Val Gardena.