Profesyonel futbol kariyerine 1952 yılında, Torpedo Moskova'da başladı. Futbolu bıraktığı 1966 yılına kadar kariyerini burada sürdüren İvanov, 1960 ve 1965 sezonlarında Çempionat SSSR Po Futbolu şampiyonluğu yaşadı. Kulübü adına ligde 286 maça çıkarken 124 gol kaydetti. İlk kez 1955 yılında giydiği Sovyetler Birliği millî takımının 1960'ta Avrupa Futbol Şampiyonası'nı kazanan ve 1964'te ikinci olan kadrolarda yer aldı. 1958 ve 1962 FIFA Dünya Kupası'nda da mücadele eden İvanov, millî formayla 1965 yılına kadar 60 maça çıktı ve 26 gol atmayı başardı.