W reprezentacji Jugosławii Baždarević zadebiutował 24 kwietnia 1983 roku w przegranym 0:4 towarzyskim meczu z Francją. W 1984 roku został powołany do kadry narodowej na Mistrzostwa Europy. Zagrał tam w pojedynkach z Belgią (0:2), Danią (0:5) oraz Francją (2:3). Z tamtego turnieju Jugosławia odpadła po fazie grupowej. W tym samym roku Baždarević zajął z drużyną narodową 3. miejsce na Letnich Igrzyskach Olimpijskich. W latach 1983–1992 w reprezentacji Jugosławii rozegrał w sumie 54 spotkania i zdobył 4 bramki. W 1996 roku zagrał także 2 razy w reprezentacji Bośni i Hercegowiny.