Ivanov begon bij Etar Veliko Tarnovo en brak door bij CSKA Sofia waarmee hij drie keer Bulgaars kampioen werd. Bij beide clubs zou hij later op huurbasis terugkeren. In 1990 ging hij in Spanje voor Real Betis spelen en later speelde hij ook in Zwitserland en Oostenrijk waar hij vooral met Rapid Wien succesvol was. Met Rapid won hij in 1996 de Bundesliga en verloor hij de finale van de Europacup II 1996 van Paris Saint-Germain.