Sélectionné à 18 ans pour les Jeux olympiques de Melbourne, le Soviétique se qualifie pour la finale mais termine dernier de celle-ci après avoir mordu ses trois essais. De retour en Europe, il décide d'accentuer sa préparation sur sa vitesse de course, passant de 11 s 1 à 10 s 5 au 100 mètres. Il poursuit par ailleurs ses études au sein de l'Institut supérieur d'éducation physique de Moscou. En 1958, Ter-Ovanessian remporte la médaille d'or des Championnats d'Europe de Stockholm grâce à un saut mesuré à 7,81 m, devançant largement le deuxième du concours, le Polonais Kazimierz Kropidlowski. Deux ans plus tard, il se classe troisième des Jeux olympiques d'été de 1960 à Rome dans une finale très relevée remportée par l'Américain Ralph Boston, détenteur du record du monde de la discipline. Le Soviétique réalise lors de sa sixième et dernière tentative, signant une nouvelle meilleure marque européenne et devenant le premier athlète du continent à dépasser les .