Ali bin Abi Thalib terpilih menjadi khalifah menggantikan Utsman, tetapi terjadi perlawanan oleh pihak-pihak yang ingin agar Ali mengambil tindakan tegas mengukum para pembunuh Utsman. Hal ini memicu Perang Saudara Islam I, dan pihak penentang Ali dipimpin oleh Aisyah, salah seorang "ummul mu'minin" atau istri Muhammad. Marwan awalnya berada di pihak Aisyah, dan ikut bertempur dalam Pertempuran Jamal pada Desember 656. Dalam pertempuran ini, ia membunuh Thalhah bin Ubaidillah yang juga berada di pihak Aisyah tetapi menurut Marwan merupakan salah satu dalang pembunuhan Utsman. Saat pasukan Aisyah sedang dipukul mundur dalam pertempuran jarak dekat dengan pasukan Ali, Marwan memanah Thalhah hingga mengenai pembuluh darah di bawah lututnya. Menurut sejarawan Wilferd Madelung, Marwan sengaja melakukan ini ketika posisi kubu Aisyah sudah di ambang kekalahan sehingga Aisyah tidak dapat menindaknya atas perbuatan ini. Pertempuran ini berakhir dengan kemenangan Ali, dan Marwan pun menyatakan baiat kepada sang khalifah. Setelah Marwan dimaafkan oleh Ali, ia berangkat ke Syam yang dikuasai oleh Muawiyah bin Abi Sufyan, wali negeri Syam yang menolak untuk berbaiat kepada Ali, dan merupakan kerabatnya dari Banu Umayyah. Marwan berada di pihak Muawiyah saat bertempur melawan Ali dalam Pertempuran Shiffin dekat Ar-Raqqah pada tahun 657. Pertempuran ini berakhir tanpa pemenang yang jelas, dan diikuti dengan sebuah "tahkim" (arbitrase) yang juga gagal menghentikan perselisihan antara kedua pihak.