1984 год Абаджян начал с победы на чемпионате СССР в Ташкенте. Для этого Валерию потребовалось выиграть всего один бой. В очередной раз победив по очкам Юрия Яковлева, воронежский боксёр стал двукратным чемпионом страны. Являвшийся первым номером сборной в своей весовой категории Абаджян мог рассчитывать на участие в Олимпийских Играх 1984 года, но вследствие бойкота СССР Олимпиады в Лос-Анджелесе поехал на соревнования «Дружба-84», в котором участвовали спортсмены социалистических стран. Боксёрский турнир, проходивший в Гаване, Валерий начал с досрочной победы во втором раунде над венгром Ференцем Шомоди, затем в полуфинале выиграл у Петара Стойменова из Болгарии (по очкам, 5:0). В решающем поединке оппонентом Абаджяна стал трёхкратный олимпийский чемпион Теофило Стивенсон. Бой был остановлен в третьем раунде ввиду сильного рассечения у советского боксёра в области левого глаза, Валерий стал обладателем серебряной награды турнира.