Nel corso dei Campionati mondiali di pugilato dilettanti 1982 il grande pugile cubano, dopo 11 anni di vittorie consecutive, fu sconfitto dall'italiano Francesco Damiani e mancò l'appuntamento con la medaglia. Stevenson avrebbe potuto vincere una quarta medaglia alle Olimpiadi di Los Angeles del 1984, ma Cuba fu coinvolta nel boicottaggio di quell'edizione deciso dall'Unione Sovietica, per rappresaglia contro il boicottaggio statunitense del 1980. Cuba e gli altri paesi socialisti non parteciparono alle Olimpiadi di Los Angeles e Stevenson non poté forse guadagnarsi il quarto oro olimpico.