Det finnes egentlig ingen pålitelige kilder om opprinnelsen eller fødenavnet til Abu Muslim. Han kan ha vært en slave av persisk avstamning i tjeneste for en arabisk stamme i Kufa. Imidlertid er det også arabiske kilder som omtaler ham som et medlem av den abbasidiske familie, som kurder, som jemenitt, eller som en etterkommer av det gamle iranske aristokrati. Abu Muslim vokste opp i Kufa, et arnested for politisk uro på den tiden.