Stadig flere meldinger om Ibrahim IIs grusomheter nådde frem til Bagdad, og abbadidekalifen al-Mu'tadid så seg nå beredt til å reagere. Kalifen sendte avsted en budbringer som ankom Tunis sent i 901/tidlig i 902 med skriftlige instruksjoner. Under henvisning til mishandlingen av hans undersåtter hjemkalte kalifen Ibrahim II til Bagdad og fratok han embedet som guvernør av Ifriqiya, og utnevnte i hans sted hans sønn Abu al-Abbas Abdallah (som da befant seg på Sicilia).