عبد الملك بن مروان كانت الأجواء السياسية في المدينة غير مستقرة ويشوبها الكثير من المعارضة والسخط على بني أمية، كان مُبتدأ الخلاف بين أهل المدينة وبني أمية عندما قام معاوية بن أبي سفيان بأخذ البيعة لابنه يزيد، فقد عارض الكثير من أبناء الصحابة هذه البيعة لإحساسهم بانتهاء العهد الراشدي المبني على الشورى، وزاد الأمر سوءًا مقتل الحسين بن علي في كربلاء. قام بعد ذلك وفد من أهل المدينة بزيارة ليزيد بن معاوية، وعلى الرغم من أنهم قدموا عليه ولم يسألوه حاجة إلا قضاها، إلا أنهم رجعوا المدينة ذامين له، مجمعين على خلعه. عندما وصل خبر مقتل الحسين إلى الحجاز أعلن عبد الله بن الزبير خلع يزيد، وبدأ بأخذ البيعة لنفسه من الناس في مكة، وبعد أن كَثُر الحديث في المدينة عن يزيد، أرسل يزيد النعمان بن بشير إلى المدينة يحذرهم الفتنة والخروج عن الطاعة، ويذكرهم الطاعة، فأبوا عليه، ثم أعلنوا خلع يزيد، وبايعوا عبد الله بن حنظلة الغسيل، ووثبوا على عثمان بن محمد بن أبي سفيان والي يزيد، ثم حاصروا بني أمية في دار مروان بن الحكم، وكان عددهم حوالي الألف شخص. فلما علم يزيد بن معاوية بذلك أرسل إليهم جيشًا عليه مسلم بن عقبة المري، وأوصى إن حدث له حدث فالأمير من بعده الحصين بن نمير السكوني، وأقبل مسلم بن عقبة بالجيش حتى وصل إلى المدينة فأمهل أهلها ثلاثة أيام فأبوا إلا القتال، وكان عليهم: عبد الله بن حنظلة الغسيل الأنصاري، وعبد الله بن مطيع، ومعقل بن سنان الأشجعي، وعبد الرحمن بن زهير بن عوف الزهري ابن أخ عبد الرحمن بن عوف، وكان مجيء مسلم عن طريق الحرة الشرقية، ووقعت معركة بين الجيشين سميت وقعة الحرة وكانت في أواخر ذي الحجة من سنة 63 هـ، قتل في هذه الوقعة أكثر سادة أهل المدينة من الصحابة وأبناء الصحابة، واستحلت المدينة من قبل الجيش الأموي ثلاثة أيام. عندما انتهى مسلم بن عقبة المري من المدينة اتجه بجنده نحو مكة يريد عبد الله بن الزبير، وخلف على المدينة روح بن زنباع الجذامي، لم يقطع مسلم مسافة بعيدة عن المدينة حتى مات، فتولى أمر الجند بعده الحصين بن النمير السكوني حسب وصية يزيد بن معاوية فسار إلى مكة، فقاومه ابن الزبير، واستمر القتال شهري محرم وصفر من سنة 64 هـ وفي أوائل ربيع الأول رميت الكعبة بالمنجنيق، ثم جاءهم نعي يزيد في 14 من ربيع الأول سنة 64 هـ، انصرف على أثره جيش الشام إلى بلدهم تاركين الحجاز لولاية ابن الزبير. بعد وفاة يزيد دان الحجاز لعبد الله بن الزبير، ثم دعا لنفسه بالخلافة، ثم أخذ يتوسع حتى ضم إليه بلاد المسلمين كلها إلا دمشق وجزءًا من الأردن، وبايعه في أول الأمر رؤوس الخوارج، وكذلك بايعه المختار الثقفي، وأُخرج بنو أمية من المدينة إلى الشام، فاجتمعو إلى مروان بن الحكم بعد موت معاوية بن يزيد، ودُعي لابن الحكم بالخلافة فبايعه أهل دمشق، ثم توسع من دمشق فضم أرجاء بلاد الشام ومصر.
أدى زوال خطر المختار الثقفي من الميدان السياسي إلى انحصار المنافسة على زعامة العالم الإسلامي بين عبد الملك بن مروان وعبد الله بن الزبير. أدرك عبد الملك أن قوة ابن الزبير تكمن في العراق وأن القضاء عليه في هذا الإقليم سيؤدي حكمًا إلى إسقاط النظام الزبيري كاملًا، لذلك خرج عبد الملك على رأس جيش كبير إلى العراق، وكان ذلك بعد أربع سنين من القضاء على المختار. وكان عبد الملك قد أشار عليه بعض أمرائه أن يقيم بالشام، وأن يبعث إلى مصعب جيشا فأبى، وقال: «لعلي أبعث رجلا شجاعا لا رأي له، أو من له رأي ولا شجاعة له، وإني أجد من نفسي بصرًا بالحرب وشجاعة، وإن مصعبا في بيت شجاعة، أبوه أشجع قريش، وأخوه لا تجهل شجاعته، وهو شجاع، لا علم له بالحرب، وهو يحب الدعة والخفض، ومعه من يخالفه، ومعي من ينصح لي». فسار بنفسه حتى نزل بلدة مسكن، وجعل على مقدمة جيشه أخاه محمد بن مروان بن الحكم، وعلى ميمنته عبد الله بن يزيد بن معاوية، وعلى ميسرته خالد بن يزيد بن معاوية، وزحف مصعب نحو باجميرا وعلى مقدمة جيشه إبراهيم بن الأشتر النخعي، ثم بدأ عبد الملك يكاتب زعماء أهل العراق من جيش مصعب يعدهم ويمنيهم، وقد قبلوا التخلي عن مصعب والانضمام إلى عبد الملك. كان عبد الملك يسعى لإيجاد مخرج من قتال مصعب، فأرسل إليه رجلاً من كلب وقال له: «أقرئ ابن أختك السلام - وكانت أم مصعب كلبية - وقل له: يدع دعاءه إلى أخيه، وأدَعُ دعائي إلى نفسي، ويجْعَل الأمر شورى». لكن مصعب رد عليه بقول: «السيف بيننا». ثم حاول عبد الملك محاولة أخرى: فأرسل إليه أخاه محمد بن مروان ليقول له: «إن ابن عمك يعطيك الأمان». فقال مصعب: «إن مثلي لا ينصرف عن مثل هذا الموقف إلا غالبًا أو مغلوبًا». ثم وقعة المعركة وأمد مصعب قائده إبراهيم بن الأشتر بعتاب بن ورقاء الرباحي، وهو من الذين كاتبوا عبد الملك، فاستاء إبراهيم من ذلك وقال: قد قلت له لا تمدني بعتاب وضربائه، إنا لله وإنا إليه راجعون، فانهزم عتاب بالناس، فلما انهزم ثبت ابن الأشتر فقتل، ثم تخلى أهل العراق عن مصعب حتى لم يبق معه سوى سبعة رجال، وجعل يتأمل من معه فلا يجدهم يقاومون أعداءه، فاستقتل وطمن نفسه وقال: «لي بالحسين بن علي أسوة حين امتنع من إلقائه يده، ومن الذلة لعبيد الله بن زياد». وظل يقاتل حتى قتله عبيد الله بن زياد بن ظبيان، وكان مقتله في المكان الذي دارت فيه المعركة على قصر دجيل عند دير الجاثليق في شهر جمادى الآخرة سنة 72 هـ، فلما بلغ عبد الملك مقتله قال: «واروه فقد والله كانت الحرمة بيننا قديمة، ولكن هذا المُلْك عقيم». وبمقتل مصعب عادت العراق إلى حظيرة الدولة الأموية، وعين عبد الملك أخاه بشرا واليًا عليها، وقبل أن يغادرها أَعَدَّ جيشًا للقضاء على عبد الله بن الزبير في مكة.
لم يتريث عبد الملك كثيرًا وأسرع بإرسال جيش إلى الحجاز بقيادة الحجاج بن يوسف الثقفي لمواجهة عبد الله بن الزبير، وكان سبب تعيين الحجاج دون غيره أن عبد الملك لما أراد الرجوع إلى الشام قام إليه الحجاج بن يوسف فقال: «يا أمير المؤمنين إني رأيت في منامي أني أخذت عبد الله بن الزبير فسلخته فابعثني إليه وولني قتاله». فحاصر الحجاج مكة في عشرين ألفًا من جند الشام، فنصب المنجنيق على مكة ليحصر أهلها حتى يخرجوا إلى الأمان والطاعة لعبد الملك، وكان مع الحجاج قوم قدموا عليه من أرض الحبشة، فجعلوا يرمون بالمنجنيق، فقتلوا كثيراً من أهل مكة، وكان معه خمس مجانيق، فألح عليها بالرمي من كل مكان، وحبس عنهم الميرة فجاعوا، وكانوا يشربون من ماء زمزم، وأخذت الحجارة تقع في الكعبة، وكانت الحرب سجالًا يكر جيش الشام على ابن الزبير، فيشد عليهم، وكان ابن الزبير يقول في القتال: «خذها وأنا ابن الحواري»، وقيل لابن الزبير: ألا تكلمهم في الصلح، فقال: «والله لو وجدوكم في جوف الكعبة لذبحوكم جميعا، والله لا أسألهم صلحا أبدا». لما اشتد الحصار أخذ أهل مكة يخرجون إلى الحجاج بالأمان ويتركون ابن الزبير، حتى خرج إليه قريب من عشرة آلاف، فأمنهم، وقل أصحاب ابن الزبير، حتى خرج إلى الحجاج حمزة وخبيب ابنا عبد الله ابن الزبير فأخذا لأنفسهما أمانًا من الحجاج فأمنهما، ودخل عبد الله بن الزبير على أمه أسماء بنت أبي بكر فشكا إليها خذلان الناس له، وخروجهم إلى الحجاج حتى أولاده وأهله، وأنه لم يبق معه إلا اليسير، ولم يبق لهم صبر ساعة، فما رأيك، فقالت: «يا بني، أنت أعلم بنفسك إن كنت تعلم أنك على حق وتدعو إلى حق فاصبر عليه، فقد قتل عليه أصحابك، ولا تمكن من رقبتك، يلعب بها غلمان بني أمية، وإن كنت إنما أردت الدنيا فلبئس العبد أنت، أهلكت نفسك وأهلكت من قتل معك، وإن كنت على حق فما وهن الدين، وإلى كم خلودكم في الدنيا، القتل أحسن». فدنا منها وقبل رأسها، وقال: هذا والله رأيي، ثم قال: «فانظري يا أماه، فإني مقتول من يومي هذا، فلا يشتد حزنك، وسلمي لأمر الله، فإن ابنك لم يتعمد إتيان منكر، ولا عمل بفاحشة قط، ولم يجر في حكم الله، ولم يغدر في أمان، ولم يتعمد ظلم مسلم ولا معاهد، ولم يبلغني ظلم عن عامل فرضيته بل أنكرته، ولم يكن عندي آثر من رضا ربي عز وجل، اللهم إني لا أقول هذا تزكية لنفسي، اللهم أنت أعلم بي مني ومن غيري، ولكني أقول ذلك تعزية لأمي لتسلو عني». فقالت أمه: اخرج يا بني حتى أنظر ما يصير إليه أمرك. انتهى الحصار الذي استمر ستة أشهر وسبعة عشر يومًا، بمقتل عبد الله بن الزبير ودخول الحجاج مكة وفرض سيادة بني أمية على الحجاز في السابع عشر من جمادى الأولى عام 73 هـ الموافق 692م. وبهذا انتهت خلافة ابن الزبير التي استمرت تسع سنوات، وتوحد العالم الإسلامي تحت طاعة عبد الملك بن مروان الذي أضحى الخليفة الشرعي الوحيد للمسلمين.