A szovjet válogatott tagjaként részt vett az 1956. évi nyári olimpiai játékokon, az 1958-as és az 1962-es labdarúgó-világbajnokságon, illetve az 1960-as és az 1964-es labdarúgó-Európa-bajnokságon. 1956-ban és 1960-ban tornagyőzelemmel térhettek haza, Ivanov ráadásul 1960-ban és 1962-ben is gólkirály lett, igaz, mindkétszer holtversenyben.