Największy sukces w karierze Bernd Rohr osiągnął w 1962 roku, kiedy wspólnie z Ehrenfriedem Rudolphem, Lotharem Claesgesem i Klausem Mayem zdobył złoty medal w drużynowym wyścigu na dochodzenie podczas torowych mistrzostw świata w Mediolanie. Był to jedyny medal wywalczony przez Rohra na międzynarodowej imprezie tej rangi. Wielokrotnie zdobywał medale mistrzostw kraju, zarówno w kolarstwie torowym jak i szosowym, w tym siedem złotych. Nigdy nie wystąpił na igrzyskach olimpijskich.