第二次内乱 (イスラーム史)
ビザンツ帝国との停戦を成立させ、内部の対立を克服したのち、アブドゥルマリクはイラクに視線を戻した。691年、アブドゥルマリクはジャズィーラに位置するカルキースィヤー(英語版)のカイス族の要塞を包囲した。要塞の攻略に失敗した後、アブドゥルマリクは譲歩を示して恩赦を約束することでズファルを降伏に導き、味方へ引き入れることに成功した。また、アブドゥルマリクはこれらのかつてのイブン・アッ=ズバイルの同盟者を自軍に組み入れることで軍隊を強化し、多くの要因によってイラクにおける立場が弱まっていたムスアブを打ち破るために行動を起こした。一方でハワーリジュ派は中央政府による支配が内乱によって崩壊して以降、アラビア半島、イラク、そしてペルシアにおける襲撃を再開していた。イラク東部とペルシアではハワーリジュ派の一派であるアズラク派が685年にイブン・アッ=ズバイルからファールスとケルマーンを奪い、イブン・アッ=ズバイル派の支配地への襲撃を繰り返した。クーファとバスラの人々もイブン・アッ=ズバイル派によるアブドゥルマリクと以前のムフタールの支持者に対する虐殺と弾圧、そしてアブドゥルマリクによる懐柔工作のために離反が続いていた。その結果、アブドゥルマリクは多くのイブン・アッ=ズバイル支持派であった人々の亡命者を確保することに成功した。さらに、ムスアブは配下で最も経験豊富な将軍であるムハッラブ・ブン・アビー・スフラ(英語版)がかなりの数の部隊とともにバスラをハワーリジュ派から守るために離れていたため、アブドゥルマリクに対して効果的な反撃に出ることができなかった。結局、ムスアブは691年10月に起こったマスキンの戦いで、自軍の武将の裏切りが重なったこともあり、ムフタールの死後にムスアブの下に降っていたイブラーヒーム・ブン・アル=アシュタルとともにウマイヤ朝軍に敗れて戦死した。
しかし、自分の息子であるヤズィード(ヤズィード1世)を生前に後継者として指名するという前例のない世襲の動きに出たために多くの反発を招くことになり、ムアーウィヤの死後に後継者をめぐる緊張が急激に高まった。ハサンの同母弟のフサイン・ブン・アリーがウマイヤ朝を打倒するためにクーファのアリー家支持派の人々から招かれたものの、フサインは680年10月にクーファに向かう途上で起こったカルバラーの戦いで少数の支持者とともにヤズィードの軍隊によって殺害された。さらに、ヤズィードの軍隊は683年8月に反乱を起こしたマディーナを襲撃して反乱の鎮圧に成功すると、そのまま進軍を続けてアブドゥッラー・ブン・アッ=ズバイルが独立した勢力を確立していたメッカを包囲した。しかし、同年11月にヤズィードが死去するとウマイヤ朝の軍隊は撤退し、ウマイヤ朝の支配はシリアの一部を除くイスラーム国家の全域で失われた。
ほとんどの地域がウマイヤ朝に代わってメッカを本拠地とするアブドゥッラー・ブン・アッ=ズバイルをカリフとして認める一方で、フサイン殺害への復讐を求めるアリー家支持派の運動がクーファで起こった。最初にムハンマドのサハーバ(教友)であるスライマーン・ブン・スラドの下でタッワーブーン(悔悟者たち)と呼ばれる集団がウマイヤ朝に対する反乱を起こしたが、タッワーブーンは685年1月のアイン・アル=ワルダの戦いでウマイヤ朝軍に敗れて壊滅した。
ハサンとムアーウィヤの間で結ばれた和平は一時的な平和をもたらしたものの、カリフの地位の継承に関する枠組みが確立されたわけではなかった。過去の場合と同様に、地位の継承の問題は将来の禍根となる可能性が残っていた。東洋学者のバーナード・ルイスは、「イスラームの歴史からムアーウィヤが利用できた先例は合議と内戦だけであった。前者はうまく行きそうにもなく、後者には明白な問題があった。」と指摘している。ムアーウィヤは自分の息子であるヤズィード(在位:680年 - 683年)を後継者として指名することで生前に問題を解決しようと望み、676年にヤズィードの指名を公表した。しかし、イスラームの歴史において世襲による継承は他の継承方法よりも優先権があるとは考えられていなかったため、この指名はさまざまな方面から反発を引き起こし、カリフの地位を君主の性格へと変える腐敗した行為であると見なされた。
ムアーウィヤはダマスクスでシューラーを召集し、交渉と賄賂を用いてさまざまな地域の代表者を説得した。その徳のある血筋から同様にカリフの地位を主張することが可能であったフサイン・ブン・アリー、アブドゥッラー・ブン・アッ=ズバイル(以下、イブン・アッ=ズバイル)、アブドゥッラー・ブン・ウマル(英語版)、そしてアブドゥッラフマーン・ブン・アビー・バクル(英語版)といった何人かのムハンマドのサハーバの息子たちはこの指名に反対した。