Największy sukces w karierze Klaus May osiągnął w 1962 roku, kiedy wspólnie z Ehrenfriedem Rudolphem, Lotharem Claesgesem i Berndem Rohrem zdobył złoty medal w drużynowym wyścigu na dochodzenie podczas torowych mistrzostw świata w Mediolanie. Był to jedyny medal wywalczony przez Maya na międzynarodowej imprezie tej rangi. Wielokrotnie zdobywał medale mistrzostw kraju, zarówno w kolarstwie torowym jak i szosowym, w tym pięć złotych. Startował również w wyścigach szosowych, ale bez większych sukcesów. Nigdy nie wystąpił na igrzyskach olimpijskich.