Ivanov ble olympisk mester i volleyball under Sommer-OL 1964 i Tokyo. Han var med på det sovjetiske laget som vant volleyballturneringen for menn foran Japan og Tsjekkoslovakia. Det ble spilt en enkeltserie med ti lag. Sovjetunionen vant ni og tapte en kamp. Ivanov spilte åtte kamper i OL-turneringen.