Baždarević begann seine Karriere bei FK Željezničar Sarajevo. In Sarajevo verbrachte er neun Jahre seiner Karriere. In dieser Zeit fiel auch die erste Einberufung in die Nationalmannschaft von Jugoslawien. Der Bosnier gab sein Debüt 1983. Er war im Aufgebot der Jugoslawen zur Fußball-Europameisterschaft 1984 in Frankreich. Er wurde dreimal eingesetzt und Jugoslawien schied in der Gruppenphase aus. Im gleichen Jahr konnte er bei den Olympischen Sommerspielen 1984 in Los Angeles mit der jugoslawischen Auswahl die Bronzemedaille erringen. 1987 wechselte er schließlich nach Frankreich zum FC Sochaux, welchen er bis 1996 die Treue hielt. In dieser Zeit fiel auch die Unabhängigkeit seines Heimatlandes Bosnien und Herzegowina. Er gab sein Debüt für Bosnien-Herzegowina und war Kapitän der Nationalmannschaft in zwei WM-Qualifikationsspielen gegen Griechenland (0:3) und Kroatien (1:4). Von 1996 bis 1998 war er bei Olympique Nîmes unter Vertrag. Danach spielte er noch ein Jahr in der Schweiz bei Étoile Carouge.