Mushica s-a născut în Priștina, RS Serbia, în prezent în Kosovo, care a fost parte a Iugoslaviei. A început să joace fotbal în 1991 la echipa locală KF Ramiz Sadiku la vârsta de 6 ani. El a rămas la club până la Războiul din Kosovo, care l-a determinat să se mute în Turcia la vârsta de 14 ani, unde a trăit cu rudele sale timp de trei luni, în timp ce tatăl său și fratele mai mare au rămas în Priștina. El s-a întors în orașul său natal, după ce tatăl său a considerat că Priștina este destul de sigură în urma bombardamentelor NATO din Iugoslavia, care au încheiat războiul. După finalul război, el s-a alăturat echipei FC Prishtina, clubul pentru care a jucat la tineret, fiind în cele din urmă a promovat la prima echipă în 2002, la vârsta de 17 ani. La Priștina a câștigat campionatele din sezoanele 2003–04, 2007–08, Cupa Kosovoului în 2005–06 și SuperCupa în 2003–04, 2005–06 și 2007–08.