Pierwszy sukces w karierze Gary Anderson osiągnął w 1985 roku, kiedy zdobył brązowy medal w indywidualnym wyścigu na dochodzenie podczas torowych mistrzostw świata juniorów. Rok później wystartował na igrzyskach Wspólnoty Narodów w Edynburgu, gdzie zdobył cztery medale: srebrne w wyścigu na 1 km i drużynowym wyścigu na dochodzenie oraz brązowe w wyścigu na 10 mil i indywidualnym wyścigu na dochodzenie. Na rozgrywanych cztery lata później igrzyskach Wspólnoty Narodów w Auckland zwyciężył w indywidualnym i drużynowym wyścigu na dochodzenie i wyścigu na 10 mil, a na 1 km zajął drugie miejsce. W 1992 roku wziął udział w igrzyskach olimpijskich w Barcelonie, gdzie zdobył brąz w indywidualnym wyścigu na dochodzenie, ulegając jedynie Brytyjczykowi Chrisowi Boardmanowi i Niemcowi Jensowi Lehmannowi. Anderson brał także udział w igrzyskach w Seulu (1988), Atlancie (1996) i Sydney (2000), ale bez sukcesów. Ponadto w 1991 roku zdobył brązowy medal torowych mistrzostw kraju w madisonie, a w 2000 roku był trzeci na szosowych mistrzostwach Australii w indywidualnej jeździe na czas. Nigdy nie zdobył medalu na szosowych ani torowych mistrzostwach świata.