Największy sukces w karierze Fritz Scheller osiągnął w 1937 roku, kiedy zdobył brązowy medal w wyścigu ze startu wspólnego amatorów podczas szosowych mistrzostw świata w Kopenhadze. W zawodach tych wyprzedzili go jedynie Włoch Adolfo Leoni oraz Duńczyk Frode Sørensen. Był to jednak jedyny medal wywalczony przez Schellera na międzynarodowej imprezie tej rangi. W tej samej konkurencji zajął także piąte miejsce na mistrzostwach świata w Montlhéry w 1933 roku oraz dziewiąte na mistrzostwach świata w Bernie w 1936 roku. Ponadto zajmował trzecie miejsce w klasyfikacji generalnej Deutschland Tour w 1939 i 1948 roku oraz czterokrotnie zdobywał złote medale szosowych mistrzostw kraju. W 1936 roku wystąpił na igrzyskach olimpijskich w Berlinie, gdzie był czwarty w wyścigu ze startu wspólnego, przegrywając walkę o podium z Ernstem Nievergeltem ze Szwajcarii. Na tych samych igrzyskach wziął także udział w wyścigu drużynowym, ale reprezentacja III Rzeszy nie była klasyfikowana. W 1938 roku wystartował w Tour de France, ale nie ukończył rywalizacji. Jako zawodowiec startował w latach 1938-1949.