684年に最後のスフヤーン家のカリフのムアーウィヤ2世が死去すると、以前にイラクの総督を務めていたに促され、マルワーンはで開かれたウマイヤ朝を支持する部族による会議でカリフの候補者として志願した。のを中心とする各部族の有力者がマルワーンをカリフに選出し、同年の8月にマルワーンとともにマルジュ・ラーヒトの戦いでイブン・アッ＝ズバイルを支持するを破った。その後の数か月の間にマルワーンはメソポタミア北部のカイス族の動きを抑えつつ、現地の総督たちがイブン・アッ＝ズバイル側についていたエジプト、パレスチナ、およびシリア北部に対するウマイヤ朝の支配を回復した。マルワーンはイブン・アッ＝ズバイルが支配するイラクを再征服するためにウバイドゥッラー・ブン・ズィヤードが率いる遠征軍を派遣したものの、遠征の最中の685年の春に死去した。マルワーンは死の前に息子たちの政権内での地位を固めた。アブドゥルマリクが後継のカリフに指名され、がエジプトの総督となった。