Jabarkan NK Željezničar (1960-1970) dari Ivica Osim

Ketika dia mengakhiri kariernya sebagai pemain pada tahun 1978, Osim langsung menjadi pelatih untuk klub dimana dia bermain untuk pertama kali, NK Željezničar. Dia melatih tim Sarejevo itu hinggal tahun 1986, dan mencapai peringkat kedua di Liga Yugoslavia dua kali, mencapai final Piala yugoslavia sekali, dan semifinal Piala UEFA sekali. Dia juga memegang jabatan pelatih tim olimpiade Yugoslavia pada Olimpiade 1984 dan meraih medali perunggu.

Pada tahun 1986, dia ditunjuk sepagai pelatih tim nasional sepak bola Yugoslavia dan mencapai perempatfinal pada Pial Dunia FIFA 1990. Osim juga melatih FK Partizan dari tahun 1991 hingga 1992, dan membawa mereka meraih Piala YUgoslavia pada tahun 1992.

Yugoslavia lolos kualifikasi pada Piala Eropa 1992, namun dia mengundurkan diri sebagai pelatih karena keluarganya di Sarajevo menghadapi bombardir tentara Serbia pada perang Yugoslavia. "Negara saya tidak pantas untuk tampil di Piala Eropa," kata Osim, "Saya tidak dapat bertahan sebagai pelatih sementara keluarga saya menderita."1. Yugoslavia dilarang tampil pada kejuaraan tersebut, dan kemudian menjadi negara yang terpisah-pisah.

Setelah meinggalkan Yugoslavia, dia melatih Panathinaikos dari tahun 1992 hingga 1994, meraih juara Piala Yunani pada tahun 1993 dan 1994, serta mencapai peringkat kedua di liga pada tahun 1993.

Dari tahun 1994 hingga 2002, Osim melatih SK Sturm Graz, yang dia bawa menjuarai Liga Austria pada tahun 1998 dan 1999, juara Piala Austria pada 1999 dan Piala Super Austria pada 1998 dan 1999. Sturm Graz terus tampil di Liga Champions UEFA dari tahun 1998 hingga 2000.

Sejak tahun 2003 hingga 2006, Osim menjabat sebagai pelatih JEF United Ichihara (sekarang JEF United Ichihara Chiba) di J-League, dan mengubah image tim lemah menjadi tim yang patut diperhitungkan. JEF hampir saja meraih juara liga untuk pertama kali pada tahun 2003, ketika duduk di peringkat ketika pada setengah musim pertama dan kedua. Pada tahun 2005, klub itu akhirnya meraih gelar juara piala liga untuk pertama kali.

Dia ditunjuk sebagai pelatih tim nasional  pada Juli 2006 hingga 2007.