Según Kennedy, el reemplazo se produjo en 704 como resultado del empeoramiento de las relaciones entre los dos hermanos: Abd al-Aziz habría destituido a Hassan y nombrado gobernador de Ifriqiya a su protegido Musa ibn Nusayr para reafirmar su autoridad, y la de Egipto, sobre el Norte de África.