En 721, perdió el gobierno de los dos Irak y otros, porque no entregó los impuestos correspondientes y se enfrentó al califa Yazid II por la sucesión, pues dio apoyo a su hermanastro Hisham en contra del hijo de Yazid, Al-Walid, por lo que perdió todos sus cargos.