Xhaferi ble første gang innvalgt i det makedonske parlamentet i 2002 som representant for partiet Demokratisk union for integrering (Demokratska unija za integracija, DUI) som ble stiftet samme år av medlemmer av den nedlagte nasjonale frigjøringsarmeen NLA. DUI er et sentrum-venstreparti som arbeider for rettigheter for den albanske minoriteten. Fra 2004 til 2006 var Xhaferi viseforsvarsminister i regjeringen til Vlado Butsjkovski. Fra 2008 til 2013 var han parlamentsmedlem for DUI og alliert med det konservative partiet VMRO-DPMNE. I 2012 ble han berømt (eller beryktet) for sine maratoninnlegg som ledd i en filibustertaktikk under debatten om en lov som skulle sikre rettigheter for makedonske krigsveteraner. Han blokkerte debatten totalt ved å lese dikt, sitere fra litteratur, mumle uforståelig eller rett og slett tie stille og ventet på at tiden skulle gå.