Na igrzyskach olimpijskich w 1984 w Los Angeles Graddy zdobył srebrny medal w biegu na 100 metrów przegrywając z Carlem Lewisem. Był również członkiem amerykańskiej sztafety 4 × 100 metrów, gdzie biegł na 1. zmianie, która zdobyła złoty medal, w finale poprawiając rekord świata czasem 37,83 s (biegła w składzie: Sam Graddy, Ron Brown, Calvin Smith i Carl Lewis). Na pierwszych (nieoficjalnych) halowych mistrzostwach świata w 1985 w Paryżu zdobył srebrny medal w biegu na 60 metrów, przegrywając z Benem Johnsonem z Kanady, a wyprzedzając Ronalda Desruellesa z Belgii.