Jabarkan Mengeklaim Kekhalifahan dari Abdullah bin Zubair

Kematian Yazid dan selanjutnya penarikan pasukan Umayyah dari Hijaz memberi kesempatan kepada Ibnu Zubair untuk mewujudkan aspirasinya untuk kekhalifahan. Dia segera menyatakan dirinya sebagai amīrul muʾminīn (pemimpin orang-orang beriman), gelar yang secara tradisional diperuntukkan bagi khalifah, dan menyerukan semua Muslim untuk memberinya sumpah setia. Dengan kematian kandidat Hijaz potensial lainnya, Ibnu Zubair menjadi penantang terakhir untuk kekhalifahan di antara faksi anti-Umayyah di Makkah dan Madinah dan sebagian besar kelompok mengakuinya sebagai pemimpin mereka, kecuali klan Bani Hasyim yang merupakan klan asal Muhammad dan Banu Ali. Dukungan Bani Hasyim dianggap sangat penting oleh Ibnu Zubair untuk mendapatkan legitimasi sebagai khalifah. Perwakilan terkemuka Bani Hasyim di Hijaz, Muhammad bin al-Hanafiyyah (saudara tiri Husain bin Ali) dan sepupu mereka Abdullah bin Abbas, menunda sumpah mereka dengan alasan perlunya konsensus yang lebih kuat di komunitas Muslim yang lebih luas. Karena kesal, Ibnu Zubair mengepung lingkungan klan Bani Hasyim di Makkah dan memenjarakan Muhammad bin al-Hanafiyyah untuk menekan Bani Hasyim. Sementara itu, Khawarij di bawah pimpinan Najdah bin Amir di Yamamah (Arab tengah) meninggalkan Ibnu Zubair begitu dia meneruskan klaimnya atas kekhalifahan, sebuah institusi yang mereka tolak, dan Ibnu Zubair sendiri menolak untuk meyakini doktrin mereka.

Di ibu kota Umayyah, Damaskus, Yazid digantikan oleh putranya yang masih muda, Muawiyah II (), tetapi Muawiyah II hampir tidak memegang kekuasaan dan meninggal karena sakit hanya beberapa bulan setelah pengangkatannya. Hal ini meninggalkan kekosongan kepemimpinan di Suriah karena tidak ada penerus yang cocok di antara keluarga Muawiyah I. Dalam kekacauan berikutnya, otoritas Umayyah runtuh di seluruh kekhalifahan dan Ibnu Zubair mendapat pengakuan luas. Sebagian besar provinsi Islam menawarkan kesetiaan mereka, termasuk Mesir, Kufah, Yaman dan Qais 'Ailan di Suriah utara. Demikian pula di Khurasan, gubernur de facto Abdullah bin Khazim as-Sulami menawarkan pengakuannya. Ibnu Zubair menunjuk saudaranya Mush'ab sebagai gubernur Basra dan dependensinya. Sebagai bukti kedaulatan Ibnu Zubair, koin-koin dicetak atas namanya sampai ke distrik Kerman dan Fars (sekarang Iran); keduanya bergantung kepada Basra pada waktu itu. Meskipun demikian, otoritasnya di luar Hijaz sebagian besar bersifat nominal.

Sebagian besar suku Arab di Suriah bagian pusat dan bagian selatan tetap setia kepada Bani Umayyah dan memilih Marwan bin al-Hakam () dari Madinah untuk menggantikan Muawiyah II. Proklamasi Marwan sebagai khalifah di Damaskus menandai titik balik bagi Ibnu Zubair. Partisan Marwan, yang dipimpin oleh Ubaidullah bin Ziyad, secara meyakinkan mengalahkan suku Qaysi yang dipimpin oleh adh-Dhahhak bin Qais pada Pertempuran Marj Rahith bulan Juli 684. Suku Qaysi yang masih hidup melarikan diri ke al-Jazira (Mesopotamia Atas) di bawah kepemimpinan Zufar bin al-Harits al-Kilabiyang mempertahankan pengakuannya atas kekhalifahan Ibnu Zubair. Namun, pada Maret 685, Ibnu Zubair kehilangan Provinsi Mesir yang penting secara ekonomi karena Marwan.

Gagalnya negosiasi antara Ibnu Zubair dan al-Mukhtar ats-Tsaqafi kemudian memberi masalah bagi hubungan Ibnu Zubair dengan keluarga Banu Ali. Al-Mukhtar mendeklarasikan kekhalifahan Muhammad bin al-Hanafiyah yang kemudian mengadopsi gelar "al-mahdi". Partisan Al-Mukhtar mengusir otoritas Ibnu Zubair dari Kufah pada Oktober 685. Al-Mukhtar kemudian mengirim pasukan Kufan ke Hijaz untuk membebaskan Muhammad bin al-Hanafiyah. Otoritas Mush'ab di Basra dan Khurasan juga mulai goyah, tetapi akhirnya diamankan setelah Mush'ab mendapatkan dukungan dari kepala Bani Azad yang kuat dan pemimpin militer Khurasan, al-Muhallab bin Abi Sufra. Mush'ab juga memperoleh dukungan dari pembelotan ribuan orang Kufah dan bersama-sama mereka mengalahkan dan membunuh al-Mukhtar pada bulan April 687. Ibnu Zubair kemudian memberhentikan Mush'ab dari jabatannya pada 686/87 dan mengangkat putranya sendiri Hamzah sebagai Gubernur Basra. Ibnu Zubair juga mengirim pasukan yang dipimpin Abdullah bin Umair al-Laitsi untuk mengusir Khawarij Najdiyah dari Bahrain setelah mereka menyerbu provinsi tersebut, tetapi pasukan Ibnu Zubair berhasil dipukul mundur. Hamzah terbukti tidak kompeten dalam pemerintahannya di Irak dan setelah kegagalannya mengirimkan pendapatan provinsi ke kas negara di Makkah, dia diberhentikan dan diduga dipenjarakan oleh ayahnya. Mush'ab diangkat kembali sebagai gubernur tak lama kemudian pada 687/688. Pada saat itu, kaum Khawarij menaklukkan Yaman dan Hadramaut, sedangkan pada tahun 689, mereka menduduki Ta'if, tetangga selatan Makkah.