Fra Nusaybin dro kalifen via Mosul nedover Tigris. I Jumada l-ula vant han i år 72 (oktober 691) ved Maskin den avgjørende seier over Musʿab ibn az-Zubair, som hadde regjert Irak for sin bror ʿAbdallāh ibn az-Zubair. Samme år begynte Abd al-Malik på byggingen av Klippemoskeen i Jerusalem og sendte en hær under ledelse av Al-Hajjaj ibn Yusuf til Hijaz, og som klarte å ta Mekka med storm. ʿAbdallāh ibn az-Zubair ble drept den 17. Dshumada l-ula 73 (4. oktober 692). Dermed var kalifatets enhet gjenopprettet og umajjadenes makt sikret.