Największy sukces w karierze Herbert Nebe osiągnął w 1928 roku, kiedy zdobył srebrny medal w wyścigu ze startu wspólnego podczas mistrzostw świata w Budapeszcie. W zawodach tych wyprzedził go jedynie Belg Georges Ronsse, a trzecie miejsce zajął kolejny Niemiec, Bruno Wolke. Był to jedyny medal wywalczony przez niego na międzynarodowej imprezie tej rangi. W tej samej konkurencji był też dziesiąty na rozgrywanych rok wcześniej mistrzostwach świata w Nürburgu. Ponadto był między innymi trzeci w Berlin-Cottbus-Berlin w 1925 roku, pierwszy w tym wyścigu i Bayrische Rundfahrt oraz trzeci w Rund um die Hainleite w 1938 roku. W 1923 roku został mistrzem kraju w drużynowej jeździe na czas. W 1930 roku brał udział w Tour de France, ale nie ukończył rywalizacji. Nigdy nie wystąpił na igrzyskach olimpijskich. Jako zawodowiec startował w latach 1925-1930.