Xhaferi, som er etnisk albaner, ble født 15. april 1962 i landsbyen Forino ved Gostivar i den tidligere jugoslaviske republikken Makedonia. Etter grunnskole tok han videregående utdanning ved den militære høyskolen i Beograd. Han studerte ved landinfanteriets militærakademi i Den jugoslaviske folkehæren i Beograd og Sarajevo. Senere spesialiserte han seg videre ved General Mihailo Apostolski militærakademi i Skopje. I 2013 tok han mastergrad i forsvarsstudier.