Champion olympique aux Jeux de Rome en 1960 dans la catégorie poids coqs après sa victoire en finale contre l'Italien Primo Zamparini, il perd en quart de finale à Tokyo plus tard. Grigoryev remporte également au cours de sa carrière amateur 3 titres européens à Prague en 1957, Moscou en 1963 et Berlin en 1965 ainsi que la médaille d'argent à Lucerne en 1959 et 6 titres de champion d'URSS entre 1958 et 1967.