Etter dette måtte Yazīd nå motstand i et annet opprør ledet av ʿAbd Allāh ibn az-Zubayr, sønn av sahabien az-Zubayr ibn al-ʿAwwām, som tidligere hadde motsatt seg ʿAlī under kamelslaget. Ibn az-Zubayrs opprør ble av mange sett på som et forsøk på å vende tilbake til det tidlige islams uberørte verdier, og ble støttet av en rekke fraksjoner som var misfornøyde med umayyadenes styre av ulike årsaker. Etter Yazīds plutselige død ble han etterfulgt av sin sønn Muʿāwiyah i 683, og dette førte til at Ibn az-Zubayr fikk bred støtte da han erklærte seg som kalif i 684. Samme år trakk Muʿāwiyah II seg som kalif, og han ble etterfulgt av Marwān ibn al-Ḥakam, en av Muʿāwiyah Is fettere. Marwān døde i 685 etter kun å ha regjert en kort periode, men han ble etterfulgt av sin dyktige sønn ʿAbd al-Malik. Ibn az-Zubayr ble så isolert i Hijaz, mens kharijittene opprettet en uavhengig stat i det sentrale Arabia i 684.