Największy sukces w karierze Josef Wagner osiągnął w 1938 roku, kiedy zdobył srebrny medal w wyścigu ze startu wspólnego amatorów podczas mistrzostw świata w Zurychu. W zawodach tych wyprzedził go jedynie jego rodak Hans Knecht, a trzecie miejsce zajął Holender Joop Demmenie. Na rozgrywanych osiem lat później mistrzostwach świata w Zurychu zajął szesnaste miejsce w tej samej konkurencji, tym razem wśród zawodowców. Ponadto w 1941 roku był najlepszy w klasyfikacji generalnej Tour de Suisse i drugi w 1946 roku, w 1943 roku był drugi w Tour du Lac Léman, a w 1944 roku drugi w Tour des Quatre-Cantons. W 1939 roku wystartował w Tour de France, kończąc rywalizację na 30. pozycji w klasyfikacji generalnej. Nigdy nie wystąpił na igrzyskach olimpijskich. Jako zawodowiec startował w latach 1939–1947.