Pierwszy sukces w karierze Gary Sheffield osiągnął w 1951 roku, kiedy wspólnie z Stanleyem Benhamem, Patrickiem Martinem i Jamesem Atkinsonem zdobył srebrny medal podczas mistrzostw świata w Alpe d'Huez. W tej samej konkurencji reprezentacja USA w składzie: Arthur Tyler, Gary Sheffield, Parker Vooris i Charles Butler zdobyła złoty medal na mistrzostw świata w St. Moritz w 1959 roku. Ostatnie sukcesy osiągnął podczas mistrzostw świata w Lake Placid w 1961 roku, gdzie zdobył dwa medale. Najpierw w parze z Butlerem zdobył srebro w dwójkach. Następnie razem z Tylerem, Voorisem i Butlerem zajął także drugie miejsce w czwórkach. Nigdy nie wystąpił na igrzyskach olimpijskich.