Pierwszy sukces w karierze Walter Baumgartner osiągnął w 1977 roku, kiedy wspólnie z Robertem Dill-Bundim, Hansem Känelem i Daniel Gisigerem wywalczył brązowy medal w drużynowym wyścigu na dochodzenie podczas mistrzostw świata w San Cristóbal. Wynik ten Szwajcarzy w składzie: Dill-Bundi, Känel, Baumgartner i Urs Freuler powtórzyli na rozgrywanych w 1979 roku mistrzostwach świata w Monachium. Na mistrzostwach w stolicy Bawarii Baumgartner zdobył również srebrny medal w wyścigu punktowym amatorów, ulegając jedynie Noëlowi Dejonckheeremu z Belgii. Ostatni medal Szwajcar zdobył podczas mistrzostw świata w Zurychu, gdzie zajął trzecie miejsce w wyścigu ze startu zatrzymanego amatorów, przegrywając tylko z Rainerem Podleschem z RFN oraz Holendrem Mattheusem Pronkiem. Startował ponadto w wyścigach szosowych, wygrywając między innymi kryterium w szwajcarskim Neerach w 1986 roku. Kilkakrotnie zdobywał medale mistrzostw kraju, nigdy jednak nie wystąpił na igrzyskach olimpijskich.