Отец работал в хоккейном зале «Тиволи»: после того, как семья увидела матчи чемпионата мира 1966 года, Йоже решил заниматься хоккеем. Первый тренер — словак Беняч, который ставил чехословацкий стиль игры многим своим югославским воспитанником. В августе 1977 года Йоже дебютировал в матче за люблянскую «Олимпию», а в ноябре того же года попал в сборную Югославии под руководством Бориса Светлина. В феврале 1978 года на турнире в Канаде Ковач получил предложение выступать за океаном, но отказался по просьбе отца.