Après quelques saisons moins fructueuses (comme un passage au Dinamo Zagreb, au Galatasaray en Turquie, à l'US Avellino en Italie ou encore au Panathinaïkos en Grèce), il réalise son exercice le plus réussi en 1987-88, alors qu'il remplace Artur Jorge au FC Porto, champion d'Europe en titre. Il remporte en cours de saison la supercoupe de l'UEFA et la Coupe intercontinentale, face au CA Peñarol (2-1 a.p.), et mène le club jusqu'à un nouveau titre de champion national. Il découvre la France la saison suivante, en signant au Paris Saint-Germain. Il y obtient d'abord de bons résultats, le club parisien terminant à la deuxième place du championnat, à trois points de l'Olympique de Marseille. La saison suivante est plus décevante : les Parisiens sont éliminés rapidement en Coupe UEFA par la Juventus, et avec 14 défaites terminent à la cinquième place de D1, ce qui conduit au départ d'Ivić pour l'Atletico Madrid, qu'il mène à la deuxième place de la Liga.