Największy sukces w karierze Gerhard Scheller osiągnął w 1983 roku, kiedy zdobył srebrny medal w wyścigu na 1 km podczas mistrzostw świata w Zurychu. W zawodach tych wyprzedził go jedynie Siergiej Kopyłow z ZSRR, a trzecie miejsce przypadło Lotharowi Thomsowi z NRD. W 1984 roku Scheller wystartował na igrzyskach olimpijskich w Los Angeles, gdzie rywalizację w sprincie indywidualnym zakończył na piątej pozycji. W tej samej konkurencji zdobył srebrny medal na mistrzostwach świata juniorów w 1975 roku. Wielokrotnie zdobywał medale torowych mistrzostw kraju, w tym cztery złote: 1977 - sprint, 1979 sprint i wyścig na 1 km oraz 1983 - sprint.