Marwan memulai kiprahnya pada masa pemerintahan sepupunya, Khalifah Utsman bin Affan (memerintah 644–656), saat ia menjabat sebagai katib (sekretaris) dan menjadi orang kepercayaan Utsman. Ia terluka saat menghadapi pemberontak yang mengepung rumah Utsman dan membunuh sang khalifah. Sebagai pembalasan atas kematian Utsman, ia membunuh sahabat Nabi Thalhah bin Ubaidillah (yang ia anggap bersalah) dalam Pertempuran Jamal, saat Marwan maupun Thalhah sama-sama bertempur di kubu Aisyah melawan pasukan Khalifah Ali bin Abi Thalib (memerintah 656–661). Marwan kemudian menjadi wali negeri Madinah pada masa pemerintahan Muawiyah bin Abi Sufyan (661–680), seorang kerabatnya yang mendirikan kekhalifahan Umayyah. Pada masa pemerintahan Yazid bin Muawiyah (680–683), Perang Saudara Islam II pecah dan Marwan memimpin kubu Umayyah di Madinah melawan para penentangnya. Setelah meninggalnya Yazid pada November 683, pemimpin anti-Umayyah di Hijaz, Abdullah bin az-Zubair, menyatakan diri sebagai khalifah dan berhasil mengusir Marwan dan kabilah Banu Umayyah dari Madinah ke negeri Syam, pusat kekuasaan dinasti tersebut. Khalifah selanjutnya, Muawiyah bin Yazid, meninggal pada 684 dan kekuasaan Umayyah menyusut hanya di sebagian Syam. Banyak wilayah yang menyatakan tunduk kepada Ibnu az-Zubair. Marwan mengajukan diri sebagai khalifah pengganti Muawiyah bin Yazid dalam pertemuan kabilah-kabilah pro-Umayyah di Jabiyah di bawah pimpinan Ibnu Bahdal dari Banu Kalb. Para pemuka kabilah ini setuju memilih Marwan dan mereka mengalahkan pasukan Qais yang memihak Ibnu az-Zubair dalam Pertempuran Marj Rahith pada Agustus 684.