За репрезентацију Југославије Ковачевић је одиграо 59 утакмица и постигао 10 голова. Био је учесник Светског првенства 1998. у Француској и Европског шампионата у Холандији и Белгији две године касније. Дебитовао је 27. децембра 1994. против Аргентине (0:1), а последњи пут је облачио дрес са државним грбом 31. марта 2004. против Норвешке (0:1), када је и искључен, пошто је лактом ударио у лице фудбалера Норвешке Фродеа Јонсена.