Året etter kom han på 7.-plass på 5 000 meter under Vinter-OL 1976 i Innsbruck, og var en av favorittene til å vinne 10 000 meter. Men i kraftig snøvær ble han tatt igjen med to runder av Piet Kleine, som også til slutt vant gullmedaljen. Ivanov deltok ikke internasjonalt etter den 1975/76-sesongen (bortsett fra en deltagelse i skøytelandskampen – i Oslo januar 1977), men forbedret sine personlige rekorder i nasjonale løp frem mot slutten av tiåret.