Hans forhold til kalifen ble gradvis dårligere på grunn av gjensidig mistillit. I 754 skrev Abu Muslim til kalifen og ba ham om å få lede årets pilegrimsreise til Mekka. Kalifen lot ham gjøre det, men ombestemte seg så og betrodde ledelsen av pilegrimsreisen til broren Al-Mansur, som var guvernør i Jazirah og Armenia på den tiden. På denne måten håpet han å kunne kontrollere Abu Muslim bedre.