Mustafa begynte sin politiske karriere på 1980-tallet, da han var leder for kommunestyret i Priština, fra 1984 til 1988. I 1991, da Jugoslavia ble oppløst, ble Mustafa Finansminister i Republikken Kosova, for Bujar Bukoshis eksilregjering. Under tiden som eksilminister, ble det sendt ut en arrestordre på han i Jugoslavia. Mustafa søkte derimot ikke om politisk asyl, og kunne derfor returnere til Kosovo når han ville.