Abdullahs tidlige karriere var i tjeneste hos hans far Tahir ibn Husayn med å pasifisere landområdene til kalifatet etter borgerkrigen mellom al-Amin og al-Mamun. Han etterfulgte senere sin far som guvernør i Al-Jazira, og fikk oppdraget med å beseire opprøreren Nasr bin Shabath, og overbeviste Nasr til å overgi seg mellom 824 og 826. Han ble så sendt til Egypt hvor han lyktes i å gjøre slutt på et opprør ledet av Abdullah ibn al-Sari. Han tok også Alexandria tilbake, som ble tatt av andalusiske muslimske flyktninger syv år tidligere. Etter at de ble slått tilbake, dro flyktningene til Østromerrikets Kreta og etablerte muslimsk styre der for første gang.