عندما حدثت الفتنة، وحينما قرر بعض أمراء بني أمية خلع الخليفة الوليد بن يزيد عارضهم مروان وكان على رأسهم يزيد بن الوليد بن عبد الملك، راسل مروان ابن عمه سعيد بن عبد الملك من القوقاز ينصحهم أن لا يقتلوا ابن عمهم ويفرقوا كلمتهم ويخرجوا على أمير المؤمنين حتى لا يسخط الله عليهم ويُزيل عنهم النِعم التي يعيشون فيها، ولكن يزيد بن الوليد بن عبد الملك وابن عمه عبد العزيز بن الحجاج بن عبد الملك فعلوا ما أرادوا وقتلوه فاختلف الناس بعده من يُبايعون فبايعوا يزيد، حينها ترك مروان الإمارة وجعل إسحاق بن مسلم العقيلي نائباً عليها وذهب إلى الجزيرة الفراتية عند ابنه عبد الملك وبايع يزيد بن الوليد بن عبد الملك ثم سرعان ما مات يزيد بعد 4 شهور وبايع بعض أهل دمشق أخيه إبراهيم بن الوليد عندها قرر مروان التحرك لإنقاذ الدولة الأموية وانهاء الجدل بين أحفاد الخليفة عبد الملك بن مروان الذين كانوا صبياناً بالعشرينيات بينما مروان في أواخر الخمسينات قريباً من عمر الستين، وكان مروان غاضباً لقتل الوليد بن يزيد غدراً والخروج عليه مع أنه الخليفة الشرعي، وكان عازماً على الانتقام ممن قتله وأحدث فتنة بين الناس هو وكثير من أهل الشام، وما آن مات يزيد بن الوليد حتى انتفض أهل دمشق الغاضبين ونبشوا قبره وصلبوا جثته لأنه قتل الوليد بن يزيد وحاصروا إبراهيم بن الوليد وعبد العزيز بن الحجاج بن عبد الملك وسليمان بن هشام بن عبد الملك ويزيد بن خالد بن عبد الله القسري حتى يُحررون أطفال الوليد بن يزيد الذين كانوا أولياء عهده من قبضتهم، ولكن يزيد بن خالد القسري قرر قتل الطفلان مع بقية أصحاب الوليد بن يزيد حتى لا يَقتلون من قتلوا أباهم الوليد عندما يخرجون. في تلك الأثناء مروان كان بالطريق لدمشق ففرح المسلمون بعودته لأنهم كانوا يُريدون رجلاً عاقلاً يحكمهم بدلاً من الشاب إبراهيم فكان مروان لا يدخل مدينة بالعراق والشام إلا وخلعوا إبراهيم برغبتهم وذهبوا يعرضون الخلافة على مروان وبايعوه على السمع والطاعة، حتى وصل لدمشق فحارب جيش إبراهيم وهزمه فهرب إبراهيم وكثير ممن قتل الوليد بن يزيد ولكن مروان أمسكهم وقتلهم وكان من ضمنهم يزيد بن خالد القسري، ثم سامح مروان إبراهيم بن الوليد وسليمان بن هشام بن عبد الملك وكثير من أحفاد عمه عبد الملك بن مروان وأعادهم إلى دمشق وتصالح معهم وانتهت الفتنة بينهم حتى كانوا لا يُفترقون عن مروان بسبب قربهم منه وعلاقتهم الجيدة، وبايع الجميع مروان. ولكن استغل الخوراج تلك الفتنة فخرجوا بالعراق على مروان فقام وحاربهم بنفسه رغم كِبره في السن وهزمهم في كل المعارك، وكان سليمان بن هشام وإبراهيم بن الوليد يُقاتلون معه، فاستطاع الخارجي الضحاك بن قيس الشيباني التواصل مع سليمان بن هشام وطمعه بأن يخرج على مروان ويصبح الخليفة بدلاً عنه فانضم للضحاك طمعاً بالخلافة والسلطان والجاه وحارب مروان معه، ولكن مروان هزم كل الخوراج فندم سليمان أشد الندم على ما فعل بخروجه على ابن عم أبيه وصاحبه وصهره مروان، ولكن عَلِم أن مروان لن يثق به مجدداً خصوصاً أنه سامح مسبقاً فهرب إلى إمارة الهند الإسلامية واختبئ هناك. خلال كل هذا كان بني العباس يخططون للخروج على بني أمية سراً منذ عهد عمر بن عبد العزيز لمدة 30 سنة يدعون لخلافة بني هاشم بين المرتزقة من الفرس في خراسان وقاموا بقتل كل العرب وكل من يتحدث العربية هناك الذين كانت أعدادهم تقدر بالملايين وذلك على يد عبدهم الفارسي المجهول أبو مسلم الخراساني (الذين أسس دولتهم ثم قتلوه بني العباس فيما بعد)، ثم ظهروا فجأة بجيش فارسي عملاق على رأسه عبد الله بن علي بن عبد الله العباسي (عم الخليفتان السفاح وأبو جعفر المنصور الذي خرج فيما بعد على المنصور فسجنه أبو جعفر حتى مات)، وحاربوا مروان بن محمد وهزموه بصعوبة شديدة في العراق فانسحب مروان بالجيش لمصر، ولكنهم أمسكوا بالمئات من بني أمية من ذرية مروان بن الحكم وأولاد عبد الملك بن مروان وأحفاده وأولاد أحفاده وغيرهم، وكان الكثير منهم أطفالاً صغاراً ورجالاً طاعنون بالسن، فقتلهم عبد الله بن علي بقطع رؤوسهم خلال يوم واحد وبلغ عددهم 300 شخص وصلب جثثهم، وقتل أخيه داود بن علي 80 أموي بالحجاز، ثم ذهب عبد الله للشام بجيشه فقتل كثير من المدنيون وصلبهم ونبش القبور وشوه الجثث وجعل المسجد الأموي 40 يوماً زربية للحيوانات، وبحثوا عنهم في كل مكان وقتلوهم وصلبوا جثثهم، فلَم يفلت من بني أمية إلا الأطفال الرضع (الذين تحت عمر سنتين) أو الذين هربوا للأندلس أو الذين اختبئوا وتنكروا أما البقية قتلوهم بني العباس وعذبوهم وسجنوا قليلاً منهم، وكان سبب القتل والمجازر ببني أمية حتى يرتعبوا من بني العباس ولا يطلبون الخلافة منهم مجدداً أو يخرجون عليهم هم وأنصارهم، وأيضاً قتلوهم خوفاً من أن يعود أحد الأبناء والأحفاد وينتقمون لقتل أهلهم على يد العباسيون، وتعدت مجازر العباسيون إلى أبناء أعمامهم ذرية الحسن بن علي بن أبي طالب وذرية الحسين بن علي بن أبي طالب وذرية جعفر بن أبي طالب حوالي 20 شخصاً سجنوهم وجلدوهم وقتلوهم. ولحقوا مروان لمصر فقاتلهم رغم قلة الذين معه ورفض الاستسلام وفضل القتال حتى الموت فجعل يُقاتلهم بشراسة حتى قُتِل وهو يبلغ من العمر 62 سنة.