I 741 eller 742 ble han løslatt fra fengselet i Kufa av ledere av den abbasidiske bevegelse i Khorasan. Overhodet for Abbaside-familien, Ibrahim bin Muhammad, ga ham navnet og sendte ham til Khorasan noen år senere for å utløse ved agitasjon og så lede et opprør mot umayyadekalifatet der. Først ble Abu Muslim motarbeidet av sjia-lederne i Khorasan. På et møte under påfølgende pilegrimsreise insisterte Ibrahim på Abu Muslims ledelse overfor opprørerne. Abu Muslim slo seg ned i Merv og spredte abbasidepropaganda der ved hjelp av misjonærer. Som et resultat vokste hans følge raskt.