Osim débute ensuite une carrière d’entraîneur avec le club de son cœur, le Željezničar Sarajevo. Il y reste jusqu’en 1986, club avec lequel il est deux fois vice-champion de Yougoslavie, remporte la coupe nationale et se hisse en demi-finale de la Coupe UEFA. Entretemps, il mène l’équipe olympique yougoslave à une troisième place aux jeux olympiques, synonyme de médaille de bronze. Osim est alors réputé pour pratiquer un jeu porté sur l’offensive. En 1986, il prend les rênes de la sélection yougoslave et la hisse en quart de finale de la Coupe du monde 1990, éliminé par l’Argentine d’un certain Diego Maradona. Il ne peut participer à l’Euro 92, la Yougoslavie étant exclue de la compétition à cause de la situation politique du pays. Il rejoint alors le Panathinaikos, en Grèce, puis rejoint le club autrichien de Sturm Graz en 1994, qu’il hisse en phase de groupes de la Ligue des champions en 2000. Par la suite, et malgré le fait que le technicien bosniaque soit très apprécié en Autriche, il plie bagage en 2002 et opte pour la J.League, en devenant l’entraîneur du JEF United Chiba, club avec lequel il devient deux fois vice-champion de J.League, et remporte la Nabisco Cup en 2005.